Docker NAT iptables实现 及网络配置

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Docker NAT iptables实现 及网络配置相关的知识,希望对你有一定的参考价值。

Docker NAT iptables实现



默认情况下,容器可以主动访问到外部网络的连接,但是外部网络无法访问到容器

 容器访问外部实现

容器所有到外部网络的连接,源地址都会被 NAT 成本地系统的 IP 地址(即docker0地址)。这是使用 iptables 的源地址伪装操作实现的

查看主机的 NAT 规则

[[email protected] sshd_dockerfile]# iptables -t nat -vnL

Chain POSTROUTING (policy ACCEPT 0 packets, 0 bytes)

 pkts bytes target     prot opt in     out     source               destination         

   27  1713 MASQUERADE  all  --  *      !docker0  172.17.0.0/16        0.0.0.0/0          

其中,上述规则将所有源地址在 172.17.0.0/16 网段,目标地址为其他网段(外部网络)的流量动态伪装为从系统网卡发出。MASQUERADE 跟传统 SNAT 的好处是它能动态从网卡获取地址。

 

外部访问容器实现

容器允许外部访问,可以在 docker run 时候通过 -p -P 参数来启用,不管用那种办法,其实也是在本地的 iptable nat 表中添加相应的规则

使用-P 时:

 

[[email protected] sshd_dockerfile]# docker run -d -P centos:http

a10b560d2e31ee07bb3be04ea8ecc66bcbcc03f0a1360973c993538393e1b71f

[[email protected] sshd_dockerfile]# docker  ps

CONTAINER ID        IMAGE               COMMAND               CREATED             STATUS              PORTS                                                                  NAMES

a10b560d2e31        centos:http         "/bin/bash /run.sh"   About an hour ago   Up About an hour    0.0.0.0:32773->22/tcp, 0.0.0.0:32772->80/tcp, 0.0.0.0:32771->443/tcp   compassionate_shockley

[[email protected] sshd_dockerfile]# # iptables -t nat –nvL

Chain DOCKER (2 references)

 pkts bytes target     prot opt in     out     source               destination         

    0     0 RETURN     all  --  docker0 *       0.0.0.0/0            0.0.0.0/0           

    0     0 DNAT       tcp  --  !docker0 *       0.0.0.0/0            0.0.0.0/0            tcp dpt:32771 to:172.17.0.3:443

    0     0 DNAT       tcp  --  !docker0 *       0.0.0.0/0            0.0.0.0/0            tcp dpt:32772 to:172.17.0.3:80

    0     0 DNAT       tcp  --  !docker0 *       0.0.0.0/0            0.0.0.0/0            tcp dpt:32773 to:172.17.0.3:22

使用 -p 80:80 时:

[[email protected] ~]# docker  run  -d -p 80:80 centos:http

WARNING: IPv4 forwarding is disabled. Networking will not work.

e2e606c90755d334d1cdce0e2dbc907614236231f4482819b25d839e4042b17b

[[email protected] ~]# docker  ps

CONTAINER ID        IMAGE               COMMAND               CREATED             STATUS              PORTS                                                                  NAMES

e2e606c90755        centos:http         "/bin/bash /run.sh"   8 seconds ago       Up 6 seconds        22/tcp, 443/tcp, 0.0.0.0:80->80/tcp                                    clever_fermi

[[email protected] ~]# iptables  -t  nat -nvL

Chain DOCKER (2 references)

 pkts bytes target     prot opt in     out     source               destination   

 0     0 DNAT       tcp  --  !docker0 *       0.0.0.0/0            0.0.0.0/0            tcp dpt:80 to:172.17.0.2:80

  

docker0  网桥

Docker服务默认会创建一个 docker0 网桥(其上有一个 docker0 内部接口),它在内核层连通了其他的物理或虚拟网卡,这就将所有容器和本地主机都放到同一个物理网络。

Docker 默认指定了 docker0 接口的 IP 地址和子网掩码,让主机和容器之间可以通过网桥相互通信

由于目前 Docker 网桥是 Linux 网桥,用户可以使用 brctl show 来查看网桥和端口连接信息。

[[email protected] ~]# brctl   show

bridge namebridge idSTP enabledinterfaces

docker08000.024281ecab1cnoveth89dc50c

vethd69e7b9

virbr08000.525400e7be5fyesvirbr0-nic

注:brctl 命令在centos中可以使用yum  install bridge-utils 来安装

每次创建一个新容器的时候,Docker 从可用的地址段中选择一个空闲的 IP 地址分配给容器的eth0端口。使用本地主机上 docker0 接口的 IP 作为所有容器的默认网关。

[[email protected] ~]# docker  ps -a

CONTAINER ID        IMAGE               COMMAND               CREATED             STATUS                      PORTS                                                                  NAMES

a10b560d2e31        centos:http         "/bin/bash /run.sh"   22 hours ago        Up 22 hours                 0.0.0.0:32773->22/tcp, 0.0.0.0:32772->80/tcp, 0.0.0.0:32771->443/tcp   compassionate_shockley

583d46c7cea8        centos:http         "/bin/bash /run.sh"   22 hours ago        Exited (137) 22 hours ago                                                                          zen_jones

 

[email protected] ~]# ifconfig   docker0

docker0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500

        inet 172.17.0.1  netmask 255.255.0.0  broadcast 0.0.0.0

        inet6 fe80::42:81ff:feec:ab1c  prefixlen 64  scopeid 0x20<link>

        ether 02:42:81:ec:ab:1c  txqueuelen 0  (Ethernet)

        RX packets 46802  bytes 2152876 (2.0 MiB)

        RX errors 0  dropped 0  overruns 0  frame 0

        TX packets 58776  bytes 102598730 (97.8 MiB)

        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

 

[[email protected] ~]# ssh [email protected] -p 32773

The authenticity of host ‘[192.168.1.107]:32773 ([192.168.1.107]:32773)‘ can‘t be established.

RSA key fingerprint is 1e:c3:c2:f8:0c:46:2e:1a:e4:f9:eb:71:5e:e7:fd:0b.

Are you sure you want to continue connecting (yes/no)? yes

Warning: Permanently added ‘[192.168.1.107]:32773‘ (RSA) to the list of known hosts.

[[email protected] ~]$ ip a

1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN

    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00

    inet 127.0.0.1/8 scope host lo

       valid_lft forever preferred_lft forever

    inet6 ::1/128 scope host

       valid_lft forever preferred_lft forever

94: [email protected]: <BROADCAST,MULTICAST,UP,LOWER_UP,M-DOWN> mtu 1500 qdisc noqueue state UP

    link/ether 02:42:ac:11:00:03 brd ff:ff:ff:ff:ff:ff

    inet 172.17.0.3/16 scope global eth0

       valid_lft forever preferred_lft forever

    inet6 fe80::42:acff:fe11:3/64 scope link

       valid_lft forever preferred_lft forever技术分享

Docker 网络配置

Docker 四种网络模式

docker run 创建 Docker 容器时,可以用 --net 选项指定容器的网络模式,Docker 有以下 4 种网络模式:

· host 模式,使用 --net=host 指定。

· container 模式,使用 --net=container:NAMEorID 指定。

· none 模式,使用 --net=none 指定。

· bridge 模式,使用 --net=bridge 指定,默认设置。

host 模式

如果启动容器的时候使用 host 模式,那么这个容器将不会获得一个独立的 Network Namespace,而是和宿主机共用一个 Network Namespace。容器将不会虚拟出自己的网卡,配置自己的 IP 等,而是使用宿主机的 IP 和端口。

例如,我们在192.168.1.102/24 的机器上用 host 模式启动一个含有 web 应用的 Docker 容器,监听 tcp 80 端口。当我们在容器中执行任何类似 ifconfig 命令查看网络环境时,看到的都是宿主机上的信息。而外界访问容器中的应用,则直接使用192.168.1.102:80 即可,不用任何 NAT 转换,就如直接跑在宿主机中一样。但是,容器的其他方面,如文件系统、进程列表等还是和宿主机隔离的。

启动容器前,执行pgrep http查看宿主机httpd进程

[[email protected] ~]# pgrep  httpd
[[email protected] ~]#


上面显示结果说明宿主机没有httpd进程运行

host 模式启动一个含有 web 应用的 Docker 容器

[[email protected] ~]# docker  images

REPOSITORY          TAG                 IMAGE ID            CREATED             SIZE

centos              http                f1d1edeedc66        22 hours ago        298.6 MB

docker.io/centos    centos6             cf2c3ece5e41        13 months ago       194.6 MB

[[email protected] ~]# docker  run -dit --net=host centos:http

a795da45a727173c281a548e55ee0e261a391a97f50c746270090072f4bfb57d

[[email protected] ~]# docker   ps

CONTAINER ID        IMAGE               COMMAND               CREATED             STATUS              PORTS               NAMES

a795da45a727        centos:http         "/bin/bash /run.sh"   31 seconds ago      Up 29 seconds                           mad_pike

[[email protected] ~]# pgrep  httpd

7221

7222

7223

7224

7225

7226

7227

7228

7229

用浏览器访问宿主机地址的80端口

注意防火墙:

[[email protected] ~]# firewall-cmd  --add-port=80/tcp

success

技术分享

container 模式

这个模式指定新创建的容器和已经存在的一个容器共享一个 Network Namespace,而不是和宿主机共享。新创建的容器不会创建自己的网卡,配置自己的 IP,而是和一个指定的容器共享 IP、端口范围等。同样,两个容器除了网络方面,其他的如文件系统、进程列表等还是隔离的。两个容器的进程可以通过 lo 网卡设备通信。

运行一个容器:查看容器的IP

[[email protected] ~]# docker  images

REPOSITORY          TAG                 IMAGE ID            CREATED             SIZE

centos              http                f1d1edeedc66        22 hours ago        298.6 MB

docker.io/centos    centos6             cf2c3ece5e41        13 months ago       194.6 MB

[[email protected] ~]# docker run -it docker.io/centos:centos6

WARNING: IPv4 forwarding is disabled. Networking will not work.

[[email protected] /]# ifconfig


注意ID号f1e18599659f下面会用到

eth0      Link encap:Ethernet  HWaddr 02:42:AC:11:00:02  

          inet addr:172.17.0.2  Bcast:0.0.0.0  Mask:255.255.0.0

          inet6 addr: fe80::42:acff:fe11:2/64 Scope:Link

          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1

          RX packets:6 errors:0 dropped:0 overruns:0 frame:0

          TX packets:6 errors:0 dropped:0 overruns:0 carrier:0

          collisions:0 txqueuelen:0

          RX bytes:508 (508.0 b)  TX bytes:508 (508.0 b)

 

lo        Link encap:Local Loopback  

          inet addr:127.0.0.1  Mask:255.0.0.0

          inet6 addr: ::1/128 Scope:Host

          UP LOOPBACK RUNNING  MTU:65536  Metric:1

          RX packets:0 errors:0 dropped:0 overruns:0 frame:0

          TX packets:0 errors:0 dropped:0 overruns:0 carrier:0

          collisions:0 txqueuelen:0

          RX bytes:0 (0.0 b)  TX bytes:0 (0.0 b)

 

将容器切换到后台运行:ctrl+p  ctrl+q

在运行一个容器使用container模式:查看新容器的地址

[[email protected] ~]# docker run -it --net=container:f1e18599659f docker.io/centos:centos6

WARNING: IPv4 forwarding is disabled. Networking will not work.

[[email protected] /]# ifconfig

eth0      Link encap:Ethernet  HWaddr 02:42:AC:11:00:02  

          inet addr:172.17.0.2  Bcast:0.0.0.0  Mask:255.255.0.0

          inet6 addr: fe80::42:acff:fe11:2/64 Scope:Link

          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1

          RX packets:8 errors:0 dropped:0 overruns:0 frame:0

          TX packets:8 errors:0 dropped:0 overruns:0 carrier:0

          collisions:0 txqueuelen:0

          RX bytes:648 (648.0 b)  TX bytes:648 (648.0 b)

 

lo        Link encap:Local Loopback  

          inet addr:127.0.0.1  Mask:255.0.0.0

          inet6 addr: ::1/128 Scope:Host

          UP LOOPBACK RUNNING  MTU:65536  Metric:1

          RX packets:0 errors:0 dropped:0 overruns:0 frame:0

          TX packets:0 errors:0 dropped:0 overruns:0 carrier:0

          collisions:0 txqueuelen:0

          RX bytes:0 (0.0 b)  TX bytes:0 (0.0 b)

注意使用container模式docker run -it --net=container:f1e18599659f    docker.io/centos:centos6 是第一次执行

[[email protected] ~]# docker run -it docker.io/centos:centos6

WARNING: IPv4 forwarding is disabled. Networking will not work.

[[email protected]f1e18599659f /]# ifconfig  高亮中的ID

none模式

这个模式和前两个不同。在这种模式下,Docker 容器拥有自己的 Network Namespace,但是,并不为 Docker容器进行任何网络配置。也就是说,这个 Docker 容器没有网卡、IP、路由等信息。需要我们自己为 Docker 容器添加网卡、配置 IP 等。

bridge模式

docker 启动时,会在主机上创建一个 docker0 的虚拟网卡。他随机挑选 RFC1918 私有网络中的一段地址给 docker0 。比如 172.17.0.1/16,16 位掩码的网段可以拥有 65534 个地址可以使用,这对主机和容器来说应该足够了。

docker0  不是普通的网卡,他是桥接到其他网卡的虚拟网卡,容器使用它来和主机相互通信。当创建一个 docker 容器的时候,它就创建了一个对接口,当数据包发送到一个接口时,另外一个接口也可以收到相同的数据包,它们是绑在一起的一对孪生接口。这对接口在容器中那一端的的名字是 eth0 ,宿主主机端的会指定一个唯一的名字,比如 vethAQI2QT 这样的名字。

所有的 veth* 的接口都会桥接到 docker0 ,这样 docker 就创建了在主机和所有容器之间一个虚拟共享网

技术分享

bridge 模式是 Docker 默认的网络设置,此模式会为每一个容器分配 Network Namespace、设置 IP 等,并将一个主机上的 Docker 容器连接到一个虚拟网桥上。当 Docker server 启动时,会在主机上创建一个名为 docker0 的虚拟网桥,此主机上启动的 Docker 容器会连接到这个虚拟网桥上。虚拟网桥的工作方式和物理交换机类似,这样主机上的所有容器就通过交换机连在了一个二层网络中。接下来就要为容器分配 IP 了,Docker 会从 RFC1918 所定义的私有 IP 网段中,选择一个和宿主机不同的IP地址和子网分配给 docker0,连接到 docker0 的容器就从这个子网中选择一个未占用的 IP 使用。如一般 Docker 会使用 172.17.0.0/16 这个网段,并将 172.17.0.1/16 分配给 docker0 网桥(在主机上使用 ifconfig 命令是可以看到 docker0 的,可以认为它是网桥的管理接口,在宿主机上作为一块虚拟网卡使用)

技术分享

Docker完成以上网络配置的过程大致是这样的:

1.在主机上创建一对虚拟网卡veth pair设备。veth设备总是成对出现的,它们组成了一个数据的通道,数据从一个设备进入,就会从另一个设备出来。因此,veth设备常用来连接两个网络设备。

2.Dockerveth pair设备的一端放在新创建的容器中,并命名为eth0。另一端放在主机中,以veth65f9这样类似的名字命名,并将这个网络设备加入到docker0网桥中,可以通过brctl show命令查看。

注:brctl 工具依赖 bridge-utils 软件包

[[email protected] ~]# brctl   show

bridge namebridge idSTP enabledinterfaces

docker08000.024281ecab1cnoveth90f8ae3

3.docker0子网中分配一个IP给容器使用,并设置docker0的IP地址为容器的默认网关。

容器内部访问外网以及容器和主机之间的端口映射都是通过Iptables实现的,可以查看Iptables表分析。

 

查看当前 docker0地址

[[email protected] ~]# ifconfig  docker0

docker0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500

        inet 172.17.0.1  netmask 255.255.0.0  broadcast 0.0.0.0

        inet6 fe80::42:81ff:feec:ab1c  prefixlen 64  scopeid 0x20<link>

        ether 02:42:81:ec:ab:1c  txqueuelen 0  (Ethernet)

        RX packets 46867  bytes 2161613 (2.0 MiB)

        RX errors 0  dropped 0  overruns 0  frame 0

        TX packets 58860  bytes 102609673 (97.8 MiB)

        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

在容器运行时,每个容器都会分配一个特定的虚拟机口并桥接到 docker0。每个容器都会配置同 docker0 ip 相同网段的专用 ip 地址,docker0 IP 地址被用于所有容器的默认网关。

运行一个容器

查看当前运行的容器:

[[email protected] ~]# docker  run -dit  centos:http

23ddd3fe37aa7b3e0b192eeced547b05ef451fb409f5ba26ca7d5907af69f77b

查看当前运行的容器:

[[email protected] ~]# docker ps

CONTAINER ID        IMAGE                      COMMAND               CREATED             STATUS              PORTS                     NAMES

23ddd3fe37aa        centos:http                "/bin/bash /run.sh"   2 minutes ago       Up 2 minutes        22/tcp, 80/tcp, 443/tcp   condescending_brown

6a80dd0b8c4a        docker.io/centos:centos6   "/bin/bash"           2 minutes ago       Up 2 minutes                                  peaceful_cray

 

通过brctl show命令查看

[[email protected] ~]# brctl  show

bridge namebridge idSTP enabledinterfaces

docker08000.024281ecab1cnoveth49a07d1

            vethd7ee715

以上, docker0 扮演着6d51c11aa19be6901fb7ab36个容器的虚拟接口 vethxx interface 桥接的角色。

 

执行docker  network  inspect  bridge查看桥接网络的详细信息

[[email protected] ~]# docker  network  inspect  bridge


[

    {

        "Name": "bridge",

        "Id": "baeed3bb5ffc64a7a9329979781a9af432fa66a7993e77726b606faf98b8df0b",

        "Scope": "local",

        "Driver": "bridge",

        "EnableIPv6": false,

        "IPAM": {

            "Driver": "default",

            "Options": null,

            "Config": [

                {

                    "Subnet": "172.17.0.0/16",

                    "Gateway": "172.17.0.1"

                }

            ]

        },

        "Internal": false,

        "Containers": {

            "23ddd3fe37aa7b3e0b192eeced547b05ef451fb409f5ba26ca7d5907af69f77b": {

                "Name": "condescending_brown",

                "EndpointID": "4acfa63b6859f3f9b6ce7a39d9b4bb18880a6e5b15df84f009d4e8352f72c51b",

                "MacAddress": "02:42:ac:11:00:03",

                "IPv4Address": "172.17.0.3/16",

                "IPv6Address": ""

            },

            "6a80dd0b8c4afc41ecfe194d75125c316a5b97822cfacd6831cc437f25809044": {

                "Name": "peaceful_cray",

                "EndpointID": "90889fd355608221b06abf677c3f8fdd831fd99b6539032199c4119e0336e4cc",

                "MacAddress": "02:42:ac:11:00:02",

                "IPv4Address": "172.17.0.2/16",

                "IPv6Address": ""

            }

        },

        "Options": {

            "com.docker.network.bridge.default_bridge": "true",

            "com.docker.network.bridge.enable_icc": "true",

            "com.docker.network.bridge.enable_ip_masquerade": "true",

            "com.docker.network.bridge.host_binding_ipv4": "0.0.0.0",

            "com.docker.network.bridge.name": "docker0",

            "com.docker.network.driver.mtu": "1500"

        },

        "Labels": {}

    }

]

自定义网桥

除了默认的  docker0  网桥,用户也可以指定网桥来连接各个容器。在启动 Docker 服务的时候,使用  -b BRIDGE  --bridge=BRIDGE  来指定使用的网桥。

Docker 允许你管理 docker0 桥接或者通过-b选项自定义桥接网卡,需要安装bridge-utils软件包。

基本步骤如下:

1.确保 docker 的进程是停止的

2.创建自定义网桥

3.给网桥分配特定的 ip

4. -b 的方式指定网桥

 

具体操作步骤:

如果服务已经运行,那需要先停止服务,并删除旧的网桥

[[email protected] ~]# systemctl stop docker
[[email protected] ~]# ip link  set dev  docker0  down
[[email protected] ~]# brctl  delbr docker0
[[email protected] ~]# brctl   show

bridge namebridge idSTP enabledinterfaces

virbr08000.525400e7be5fyesvirbr0-nic

然后创建一个网桥  bridge0给网桥分配特定的 ip

[[email protected] ~]# brctl   addbr  bridge0
[[email protected] ~]# ip  addr add  192.168.10.1/24 dev  bridge0
[[email protected]calhost ~]# ip link set  dev  bridge0  up

查看确认网桥创建并启动

[[email protected] ~]# brctl   show

bridge namebridge idSTP enabledinterfaces

bridge08000.000000000000no

[[email protected] ~]# ip addr show bridge0

106: bridge0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UNKNOWN

    link/ether fe:09:c2:02:d7:cb brd ff:ff:ff:ff:ff:ff

    inet 192.168.10.1/24 scope global bridge0

       valid_lft forever preferred_lft forever

    inet6 fe80::fc09:c2ff:fe02:d7cb/64 scope link

       valid_lft forever preferred_lft forever

修改/etc/sysconfig/docker文件

修改前:

OPTIONS=‘--selinux-enabled --log-driver=journald --signature-verification=false‘

修改后:添加前面所新建的网桥

[[email protected] ~]# vim   /etc/sysconfig/docker

# /etc/sysconfig/docker

 

# Modify these options if you want to change the way the docker daemon runs

OPTIONS=‘--selinux-enabled --log-driver=journald -b=bridge0‘

启动 Docker 服务。

[[email protected] ~]# systemctl   start  docker

新建一个容器,可以看到它已经桥接到了  bridge0  

[[email protected] ~]# docker  run  -dit docker.io/centos:centos6

fda8c846484dd543728ae7ed814ca45aefd816b7146dce105d217649e92a1321

[[email protected] ~]# brctl  show

bridge namebridge idSTP enabledinterfaces

bridge08000.e230240caa2dnovethf1f9dec

virbr08000.525400e7be5fyesvirbr0-nic

进入容器,查看容器的IP

[[email protected] ~]# docker  attach  fda8c846484dd543728ae7ed814ca45aefd816b7146dce105d217649e92a1321
[[email protected] /]# ifconfig    eth0

eth0      Link encap:Ethernet  HWaddr 02:42:C0:A8:0A:02  

          inet addr:192.168.10.2  Bcast:0.0.0.0  Mask:255.255.255.0

          inet6 addr: fe80::42:c0ff:fea8:a02/64 Scope:Link

          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1

          RX packets:8 errors:0 dropped:0 overruns:0 frame:0

          TX packets:8 errors:0 dropped:0 overruns:0 carrier:0

          collisions:0 txqueuelen:0

          RX bytes:648 (648.0 b)  TX bytes:648 (648.0 b)

docker 服务启动成功并绑定容器到新的网桥,新建一个容器,你会看到它的 ip 是我们的设置的新 ip段, docker 会自动检测到它。用 brctl show 可以看到容器启动或则停止后网桥的配置变化,在容器中使用 ip a ip r 来查看 ip 地址配置和路由信息。

 



本文出自 “duyuheng” 博客,谢绝转载!

以上是关于Docker NAT iptables实现 及网络配置的主要内容,如果未能解决你的问题,请参考以下文章

Docker端口映射实现

DNS原理及主从架构实现搭建智能DNSiptable仅开放主机指定端口NAT原理iptables实现SNAT和DNAT并持久保存规则

Linux之iptables(网络防火墙及NAT)

docker iptables 端口映射 nat

KVM虚拟化的四种简单网络模型介绍及实现

docker-网络