安装配置 Flannel+Docker

Posted 2023-01-06 catoop

K8S基础环境四联：
（一）ETCD集群部署
（二）安装配置 Flannel Docker
（三）手工部署kubernetes-1.17.0
（四）K8S之HelloWorld

---

安装配置 Flannel（基于Etcd集群，点击查看）

前置说明

所有docker宿主机上都需要进行 flannel 配置，flanneld 为每个docker宿主机上的systemd服务。

flannel 的安装非常简单，直接下载二进制文件即可（当然您也可以自己编译）
打开网址 https://github.com/coreos/flannel/releases 下载最新版对应的架构的版本，一般使用 amd64（我的CentOS 7.6）
比如我的下载地址为： https://github.com/coreos/flannel/releases/download/v0.11.0/flannel-v0.11.0-linux-amd64.tar.gz

---

安装配置

然后一顿命令操作如下：

wget https://github.com/coreos/flannel/releases/download/v0.11.0/flannel-v0.11.0-linux-amd64.tar.gz
tar -zxvf flannel-v0.11.0-linux-amd64.tar.gz

记下文件的位置，例如（/opt/soft/flannel/flanneld）
添加一个flannel服务的System单元，简单的就可以。

#编辑文件
vi /usr/lib/systemd/system/flanneld.service
# 内容如下
[Unit]
Description=Flanneld overlay address etcd agent
After=network-online.target network.target
Before=docker.service

[Service]
Type=notify
EnvironmentFile=/etc/default/flanneld.conf
ExecStart=/opt/soft/flannel/flanneld -ip-masq -etcd-endpoints=$FLANNEL_ETCD_ENDPOINTS -etcd-prefix=$FLANNEL_ETCD_PREFIX $FLANNEL_OPTIONS
ExecStartPost=/opt/soft/flannel/mk-docker-opts.sh -k DOCKER_NETWORK_OPTIONS -d /etc/default/docker
Restart=on-failure

[Install]
WantedBy=multi-user.target

flanneld.service 中引用了1个配置文件，指向了1个配置，的内容如下（一个需要手工配置，一个是自动生成）
/etc/default/flanneld.conf 文件内容（手工配置）

# Flanneld configuration options

# etcd url location.  Point this to the server where etcd runs
#FLANNEL_ETCD_ENDPOINTS="http://etcd.goodcol.com:2379"
FLANNEL_ETCD_ENDPOINTS="https://192.168.1.54:2379,https://192.168.1.65:2379,https://192.168.1.105:2379"

# etcd config key.  This is the configuration key that flannel queries
# For address range assignment
FLANNEL_ETCD_PREFIX="/flannel/network"

# Any additional options that you want to pass
FLANNEL_OPTIONS="-etcd-cafile=/opt/soft/etcd/ssl/ca.pem -etcd-keyfile=/opt/soft/etcd/ssl/server-key.pem  -etcd-certfile=/opt/soft/etcd/ssl/server.pem"

然后编辑文件 vim /usr/lib/systemd/system/docker.service
找到 ExecStart，在前面添加一行 EnvironmentFile=/etc/default/docker
然后在 ExecStart 最后添加变量 $DOCKER_NETWORK_OPTIONS （注意其他的参数应该是docker在之前相关需要中添加的，你不要动，这个地方只需要添加这个即可）
示例如下（其中--graph设置Docker运行时根目录，如果你想单独指定数据位置才配置）：

（省略前面代码）
EnvironmentFile=/etc/default/docker
ExecStart=/usr/bin/dockerd --graph=/opt/soft/docker -H fd:// --containerd=/run/containerd/containerd.sock $DOCKER_NETWORK_OPTIONS
（省略后面代码）

执行命令

touch /etc/default/docker

一切就绪后，重启flannel和docker

systemctl daemon-reload
systemctl start flanneld
systemctl enable flanneld
systemctl restart docker

同上操作在其他docker宿主机上进行 flannel 配置。

验证

1、查看 flannel 申请的网段，操作示例如下：

ETCDCTL_API=2 /opt/soft/etcd/etcdctl \\
--endpoints="https://192.168.1.54:2379,https://192.168.1.65:2379,https://192.168.1.105:2379"  \\
--ca-file=ssl/ca.pem \\
--key-file=ssl/server-key.pem  \\
--cert-file=ssl/server.pem \\
ls /flannel/network/subnets

2、在每个 flannel 宿主机上，使用 cat /run/flannel/subnet.env 查看网段信息，自动生成的内容如下：

[root@host02 etcd]# cat /run/flannel/subnet.env
FLANNEL_NETWORK=10.244.0.0/16
FLANNEL_SUBNET=10.244.21.1/24
FLANNEL_MTU=1450
FLANNEL_IPMASQ=true

3、在每个 flannel 宿主机上，使用 cat /etc/default/docker 查看自动生成的 docker 的启动参数信息，自动生成的内容如下：

[root@host02 etcd]# cat /etc/default/docker
DOCKER_OPT_BIP="--bip=10.244.21.1/24"
DOCKER_OPT_IPMASQ="--ip-masq=false"
DOCKER_OPT_MTU="--mtu=1450"
DOCKER_NETWORK_OPTIONS=" --bip=10.244.21.1/24 --ip-masq=false --mtu=1450"

4、在 flannel 宿主机上使用命令 ifconfig 查看 flannel0 和 docker0 网卡的IP网址在同一个子网，并且和文件 /etc/default/docker 中的子网也一致，即为OK，如下示例：

docker0: flags=4099<UP,BROADCAST,MULTICAST>  mtu 1500
        inet 10.244.21.1  netmask 255.255.255.0  broadcast 10.244.21.255
        inet6 fe80::42:38ff:fe0a:39a2  prefixlen 64  scopeid 0x20<link>
        ether 02:42:38:0a:39:a2  txqueuelen 0  (Ethernet)
        RX packets 24  bytes 5294 (5.1 KiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 53  bytes 6379 (6.2 KiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

ens33: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 192.168.1.65  netmask 255.255.255.0  broadcast 192.168.1.255
        inet6 fe80::fe5d:7f87:1b5:2290  prefixlen 64  scopeid 0x20<link>
        ether 00:0c:29:85:c6:57  txqueuelen 1000  (Ethernet)
        RX packets 144773824  bytes 50608795240 (47.1 GiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 141257989  bytes 76184941003 (70.9 GiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

flannel.1: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1450
        inet 10.244.21.0  netmask 255.255.255.255  broadcast 0.0.0.0
        inet6 fe80::80ea:28ff:fecb:a9af  prefixlen 64  scopeid 0x20<link>
        ether 82:ea:28:cb:a9:af  txqueuelen 0  (Ethernet)
        RX packets 670  bytes 43380 (42.3 KiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 774  bytes 62322 (60.8 KiB)
        TX errors 0  dropped 48 overruns 0  carrier 0  collisions 0

如果网络不对，可能是上面操作不当导致，按如下命令操作重启服务一遍

systemctl daemon-reload
systemctl restart flanneld
systemctl enable flanneld
systemctl restart docker

查看具体 docker 容器的IP地址的命令为 docker inspect --format='.NetworkSettings.IPAddress' ID或NAMES，或者直接 docker inspect ID或NAMES 看详细信息。
在不同的 flannel 宿主机上，分别随便启动一个docker服务，在一个docker中ping另外一个docker的IP地址，即可进行验证，如果你 docker 有http服务，使用 curl 命令请求测试也一样。

---

（END）