多主机Docker容器的VLAN划分

参考文档:

1、Docker网络的4种模式,pipework/ovs的简单使用等:http://www.infoq.com/cn/articles/docker-network-and-pipework-open-source-explanation-practice

2、Dockerpool全文档:https://yeasy.gitbooks.io/docker_practice/content/index.html

3、Ovs完全使用手册:http://my.oschina.net/tantexian/blog/648965?fromerr=C7Pp6sMs

ovs相对linux自身的brctl工具(yum install -y bridge-utils)功能上丰富许多,如vlan功能与分布式功能。

本文主要验证利用ovs的vlan功能实现跨主机的容器隔离与通信。

一. 前置条件

1. 拓扑图

2. 环境说明

  • Host1/2为VMware ESXi中的vm host,安装CentOS-7-x86_64-1511系统;
  • 在宿主机Host1/2上各创建两个Container,为Container创建eth1端口;

  • Container的eth1端口连接到ovs网桥,ovs网桥对接container的端口分别划分到vlan10/20;

  • 宿主机Host1/2的网卡ens192分别桥接到各宿主机内部的 ovs网桥;

  • 宿主机Host1/2的网卡ens192需要设置成混杂模式,并且对接的交换机端口设置为trunk端口。

  • 网桥需要安装 bridge-utils 包;

  • 常规情况下,加入 bridge 网络的宿主机网卡自动进入 promiscuous mode ,并进入 forwarding state ( 可以使用 dmesg 查看 ) ;但如果宿主机是 vm ,需要注意调整宿主机的网卡为 promiscuous mode ,调整”伪传输”模式为”接受”,对接虚拟网桥的端口为 trunk 端口。如 VMware ESXi 默认拒绝接受混杂模式下的数据包并且不对数据包打 tag ;伪传输”模式默认为”拒绝”表示出站数据的源 mac 地址不同于 .vmx 文件中的源 mac 地址时, vswitch 会丢弃该出站数据;” mac 地址更改”模式默认为”拒绝”表示 vm 在操作系统层面将网卡的 mac 地址更改为不同于 .vmx 配置文件中的 mac 地址时,丢弃所有入站数据。

3. pipework

#pipework本质是一个shell脚本实现,相对docker自身比较薄弱的网络配置处理方式,其可以方便地对docker网络进行配置。
[root@localhost ~]# cd /usr/local/
[root@localhost local]# git clone https://github.com/jpetazzo/pipework

#可以使用软连接,复制,或增加环境变量的多种方式将pipework设为可执行命令
[root@localhost local]# ln -s /usr/local/pipework/pipework /usr/local/bin/ 

二. 多主机Docker容器的vlan划分

以下操作没有特别说明,都表示在Host1上操作,Host2按照Host1操作微调即可。

1. 启动容器

#在Host1/2下启动容器test1/2/3/4;
#"--net=none"设置容器启动不带网络,由后期自定义,关于容器网络的模式请参考链接文档1
[root@localhost ~]# docker run -itd --net=none --name test1 centoswithssh
[root@localhost ~]# docker run -itd --net=none --name test2 centoswithssh
[root@localhost ~]# docker ps

2. 为容器配置网络

#用pipework添加ovs0网桥,test1网络划分到vlan10,test2网络划分到vlan20;
#pipework本质是采用shell脚本简化了ovs的操作,pipework及ovs的具体操作请参考链接文档3;
#这里并没有为ovs0网桥设置管理ip,可以根据需要设置,请参考链接1。
[root@localhost ~]# pipework ovs0 test1 192.168.1.11/24 @10
[root@localhost ~]# pipework ovs0 test2 192.168.1.12/24 @20

[root@localhost ~]# ovs-vsctl show
[root@localhost ~]# docker exec -it test1 ifconfig

3. 为网桥添加宿主机网卡

#Host1与Host2中的容器需要通信,需要把两边的网络打通,即将宿主机网卡添加到虚拟网桥中
[root@localhost ~]# ovs-vsctl add-port ovs0 ens192
[root@localhost ~]# ovs-vsctl show

4. 验证

[root@localhost ~]# docker exec -it test1 ping 192.168.1.12
[root@localhost ~]# docker exec -it test1 ping 192.168.1.13
[root@localhost ~]# docker exec -it test1 ping 192.168.1.14
[root@localhost ~]# docker exec -it test2 ping 192.168.1.13
[root@localhost ~]# docker exec -it test2 ping 192.168.1.14

预期:

  • test1 ping test2: fail
  • test1 ping test3: success
  • test1 ping test4: fail
  • test2 ping test3: fail
  • test2 ping test4: success

根据验证结果显示,结果符合预期,请见截图:

标签:容器Docker 发布于:2019-11-09 11:20:04