Docker专栏—多节点之间容器之间互联

多节点之间docker互联

docker原生态overlay模式

• 内置跨主机的网络通讯实现思路无非有两种二层VLAN网络和Overlay网络
  • 二层VLAN网络解决跨主机通讯的思路是把原先的网络架构改造为互通的大二层网络，经过特定网络设备直接路由，实现容器点到点的之间通讯。（优势:传输效率比overlay高，缺点：vlan端口有限，通用性和灵活性欠缺）
  • Overlay网络是指在不改变现有网络基础设施的前提下，经过某种约定通讯协议，把二层报文封装在IP报文之上的新的数据格式。可以充分利用成熟的IP路由协议进程数据分发；在Overlay技术中采用扩展的隔离标识位数，可以突破VLAN的4000数量限制支持高达16M的用户，并在必要时可将广播流量转化为组播流量，避免广播数据泛滥。

---

网卡设备

Container eth0：eth0它是Overlay网络分配的惟一的IP地址，它是veth pair虚拟设备对，做用是实现点对点的通讯，经过桥接到br0这个网桥中，能够实现不一样 NameSwitch之间容器进行通讯。

br0：它是Overlay默认建立的网桥。

VETP：对VXLAN数据包的封装与街封装。

Container eth1：eth1是容器主机的默认网络，主要提供容器访问外网所提供的服务，走的默认docker网络架构，只不过他建立了docker_gwbridge这个网桥。

docker_gwbridge：docker_gwbridge是容器所建立的网桥它替代了docker0的服务。

eth0：真机网卡与外界网卡链接得真机网卡，它用来转发，容器VXLAN与NAT两种网卡类型的数据包到指定的对端节点。
复制代码

发送数据包流程

容器Container1 发送数据包 到容器 Container2。

• 容器Container1会经过Container eth0 将这个数据包发送到 10.0.0.1 的网关。
• 网关将数据包发送出去后到达br0网桥。
• br0网桥针对VXLAN设备，主要用于捕获对外的数据包经过VETP进行数据包封装。
• 封装好将VXLAN格式数据包交给eth0，经过UDP方式交给Container2的eth0。
• Container2收到数据包后经过VETP将数据包解封装。
• 网桥经过网关将解封装的数据包转发给Container eth0，完毕通讯

多节点直接docker互联

节点准备

hostname	ip
node103	192.168.44.103
node104	192.168.44.104

准备 overlay 环境

为支持容器跨主机通讯，Docker 提供了 overlay driver。Docerk overlay 网络须要一个 key-value 数据库用于保存网络状态信息，包括 Network、Endpoint、IP 等。Consul、Etcd 和 ZooKeeper 都是 Docker 支持的 key-vlaue 软件，咱们这里使用 Consul。(Etcd后续再补充)

• 在node103上面部署consul,命令以下：

# docker run -d -p 8500:8500 -h consul --name consul progrium/consul -server -bootstrap
复制代码

容器启动后，能够经过：http:192.168.44.103:8500访问，如图：

• 分别在node103和node104上面修改docker.service的启动命令

# vi /usr/lib/systemd/system/docker.service
复制代码

在ExecStart一栏添加：

ExecStart=/usr/bin/dockerd-current -H tcp://0.0.0.0:2376 -H unix:///var/run/docker.sock --cluster-store=consul://192.168.44.103:8500 --cluster-advertise=ens33:2376 \
复制代码

• 注：node103和node104的--cluster-store的配置路径相同，都是192.168.44.103:8500

--cluster-store 指定 consul 的地址。
--cluster-advertise 告知 consul 本身的链接地址。
复制代码

• 在node103和node104上重启docker

# systemctl daemon-reload
# systemctl restart docker 
复制代码

• 注：node103重启服务以后，须要从新run consul服务

此时，查看node103:8500 可以看到两个节点的信息

启动服务

• 建立overlay网络

[root@node104 ~]# docker network create -d overlay ov_net1
复制代码

• 注：docker network create -d overlay ov_net1 --subnet 10.10.10.0/24 (指定子网)，这里默认是10.0.0.0

• 在node103和node104上面各启动一个centos:7.5.1804的服务

[root@node103 ~]# docker run -itd --privileged --name node2 --hostname node2 --net ov_net1 --rm big_computing /usr/sbin/init
root@node104 ~]# docker run -itd --privileged --name node1 --hostname node1 --net ov_net1 --rm big_computing /usr/sbin/init
复制代码

• 进入node104上面的容器node1(10.0.0.2)

[root@node104 ~]# docker exec -it node1 /bin/bash
复制代码

• ping node103上面的容器node2(10.0.0.3)

一样的方法进去node2,也可以ping通node1

容器中安装htcondor（这一部分与docker的overlay无关）

• 选定node103上面的node2为主节点，修改/etc/condor/condor_config

  

同时，修改condor_config中添加：
ALLOW_WRITE = *
ALLOW_READ = *
复制代码

• 修改node1上面的/etc/condor/condor_config

  

同时，修改condor_config中添加：
ALLOW_WRITE = *
ALLOW_READ = * 
复制代码

• 查看htcondor的status

  

后记

肺炎猖狂，在家闭关！最近，会持续更新本身前期整理的学习资料，你们若是感兴趣的，请点赞，加关注