k8s的etcd部署以及实现pod通信

Posted 2022-12-01 爱show的小卤蛋

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了k8s的etcd部署以及实现pod通信相关的知识，希望对你有一定的参考价值。

一、三种部署方式

Minikube

Minikube是一个工具，可以在本地快速运行一个单节点微型K8s,及用于学习、预览k8s的一些特性使用

部署地址：https://kubernetes.io/docs/setup/minikube

Kubeadmin

Kubeadmin也是一个工具，提供kubeadm init和kubeadm join,用于快速部署k8s集群，相对简单

https://kubernetes.io/docs/reference/setup-tools/kubeadm/kubeadm/

二进制安装部署

生产首选，从官方下载发行版的二进制包，首动部署每个组件和自签TLS证书，组成K8s集群，新手推荐

https://github.com/kubernetes/kubernetes/releases

小结：kubeadm降低部署门槛，但屏蔽了很多细节，遇到问题很难排查。如果想更容易可控，推荐使用二进制包部署k8s集群，虽然手动部署麻烦点，期间可以学习很多工作原理，也利于后期维护

本来好好的突然用户无法访问了，其他都没问题，可能是证书过期了，一般是一年有效期，但是可以操作增加证书时间

二、Kubernetes二进制部署

)]

1.环境准备

服务器	IP地址	安装工具
K8s集群master01（ectd节点1）	192.168.100.10	cfssl、cfssljson、cfssl-certinfo、etcd
K8s集群node01（etcd节点2）	192.168.100.20	cfssl、cfssljson、cfssl-certinfo、etcd、Flannel、docker
k8s集群node02（etcd节点3）	192.168.100.30	cfssl、cfssljson、cfssl-certinfo、etcd、Flannel、docker

#关闭防火墙
systemctl stop firewalld
systemctl disable firewalld

#关闭Selinux安全中心
setenforce 0
sed -i 's/enforcing/disabled/' /etc/selinux/config 

#关闭swap 
swapoff -a                                           #临时关闭
sed -ri 's/.*swap.*/#&/' /etc/fstab                  #永久关闭，&符号代表前面匹配的所有

#根据规划设置主机名
hostnamectl set-hostname master01 
hostnamectl set-hostname node01 
hostnamectl set-hostname node02

#在master添加hosts
cat >> /etc/hosts << EOF 
192.168.150.5 master01 
192.168.150.10 node01 
192.168.150.15 node02 
EOF

#将桥接的IPv4流量传递到iptables的链
cat > /etc/sysctl.d/k8s.conf <<EOF 
net.bridge.bridge-nf-call-ip6tables = 1 
net.bridge.bridge-nf-call-iptables = 1 
EOF
sysctl --system

#--system是全部载入
#-t是把.d载入

#时间同步，可以加入计划任务定时执行减小偏差
yum install ntpdate -y
ntpdate time.windows.com

三、Kubernetes二进制部署（部署 etcd 集群）

etcd是CoreOS团队于2013年6月发起的开源项目，它的目标是构建一个高可用的分布式键值（key-value）数据库。etcd内部采用raft协议作为一致性算法，etcd是go语言编写的。

etcd 作为服务发现系统，有以下的特点

简单∶安装配置简单，而且提供了HTTP API进行交互，使用也很简单

安全∶支持SSL证书验证

快速∶单实例支持每秒2k+读操作

可靠∶采用raft算法，实现分布式系统数据的可用性和一致性

etcd 目前默认使用2379端口提供HTTP API服务，2380端口和peer通信（这两个端口已经被IANA（互联网数字分配机构）官方预留给etcd）。

即etcd默认使用2379端口对外为客户端提供通讯，使用端口2380来进行服务器间内部通讯。

etcd 在生产环境中一般推荐集群方式部署。由于etcd 的leader选举机制，要求至少为3台或以上的奇数台。

准备签发证书环境

CFSSL是CloudFlare 公司开源的一款 PKI/TLS工具。CFSSL包含一个命令行工具和一个用于签名、验证和捆绑 TLS证书的 HTP API 服务。使用Go语言编写。

CESSL 使用配置文件生成证书，因此自签之前，需要生成它识别的 json 格式的配置文件，CESSL提供了方便的命令行生成配置文件。

CFSSL用来为 etcd 提供 TLS 证书，它支持签三种类型的证书∶

1、client 证书，服务端连接客户端时携带的证书，用于客户端验证服务端身份，如 kube-apiserver 访问 etcd

2、server 证书，客户端连接服务端时携带的证书，用于服务端验证客户端身份，如 etcd 对外提供服务

3、peer 证书，相互之间连接时使用的证书，如 etcd 节点之间进行验证和通信。这里全部都使用同一套证书认证。

1.在 master01 节点上操作下载证书制作工具

wget https://pkg.cfssl.org/R1.2/cfssl_linux-amd64 -O /usr/local/bin/cfssl
wget https://pkg.cfssl.org/R1.2/cfssljson_linux-amd64 -O /usr/local/bin/cfssljson
wget https://pkg.cfssl.org/R1.2/cfssl-certinfo_linux-amd64 -O /usr/local/bin/cfssl-certinfo 
或
curl -L https://pkg.cfssl.org/R1.2/cfssl_linux-amd64 -o /usr/local/bin/cfssl
curl -L https://pkg.cfssl.org/R1.2/cfssljson_linux-amd64 -o /usr/local/bin/cfssljson
curl -L https://pkg.cfssl.org/R1.2/cfssl-certinfo_linux-amd64 -o /usr/local/bin/cfssl-certinfo 

chmod +x /usr/local/bin/cfssl*                       #提前下载好拉入/usr/local/bin/目录并授权    
字段解析
cfssl∶证书签发的工具命令
cfssljson∶将 cfssl 生成的证书（json格式）变为文件承载式证书
cfssl-certinfo∶验证证书的信息

cfssl-certinfo-cert <证书名称>                        #查看证书的信息
#创建k8s工作目录
mkdir /opt/k8s 
cd /opt/k8s/

#上传 etcd-cert.sh 和 etcd.sh 到 /opt/k8s/ 目录中
chmod +x etcd-cert.sh etcd.sh

#创建用于生成CA证书、etcd 服务器证书以及私钥的目录
mkdir /opt/k8s/etcd-cert 
mv etcd-cert.sh etcd-cert/
cd /opt/k8s/etcd-cert/
./etcd-cert.sh                                       #生成CA证书、etcd 服务器证书以及私钥

2.启动etcd服务

# etcd 二进制包地址：https://github.com/etcd-io/etcd/releases

#上传 etcd-v3.3.10-linux-amd64.tar.gz 到 /opt/k8s/ 目录中，解压 etcd 压缩包
cd /opt/k8s/
tar zxvf etcd-v3.3.10-1jnux-amd64.tar.gz
ls etcd-v3.3.10-1inux-amd64
#etcd就是etcd 服务的启动命令，后面可跟各种启动参数
#etcdctl主要为etcd 服务提供了命令行操作

#创建用于存放 etcd 配置文件，命令文件，证书的目录
mkdir -p /opt/etcd/cfg,bin,ssl

#移动etcd和etcdctl文件到自定义的命令文件中
mv /opt/k8s/etcd-v3.3.10-linux-amd64/etcd /opt/k8s/etcd-v3.3.10-linux-amd64/etcdctl
/opt/etcd/bin/                      

cp /opt/k8s/etcd-cert/ *.pem /opt/etcd/ssl/

#启动etcd服务
/opt/k8s/etcd.sh etcd01 192.168.100.10 etcd02=https://192.168.100.20:2380,etcd03=https://192.168.100.30:2380
#进入卡住状态等待其他节点加入，这里需要三台etcd服务同时启动，如果只启动其中一台后，服务会卡在那里，直到集群中所有etcd节点都已启动，可忽略这个情况

#另外打开一个窗口查看etcd进程是否正常
ps -ef | grep etcd

注意：etcd.sh必须运行才能有etcd.service,因为脚本里面编写了这个文件

#把etcd相关证书文件和命令文件全部拷贝到另外两个etcd集群节点
scp -r /opt/etcd/ root@192.168.100.20:/opt/
scp -r /opt/etcd/ root@192.168.100.30:/opt/

#把etcd服务管理文件拷贝到另外两个集群节点
scp /usr/lib/systemd/system/etcd.service root@192.168.100.20:/usr/lib/systemd/system/
scp /usr/lib/systemd/system/etcd.service root@192.168.100.30:/usr/lib/systemd/system/

#在etcd集群的其他节点配置对应的服务器名和ip地址
vim /opt/etcd/cfg/etcd

#启动etcd服务
systemctl enable --now etcd.servcie 
systemctl status etcd.service

在 master01 节点（etcd01）上操作检查etcd群集状态
ln -s /opt/etcd/bin/etcd* /usr/local/bin 

cd /opt/etcd/ssl 
/opt/etcd/bin/etcdctl \\
--ca-file=ca.pem \\
--cert-file=server.pem \\
--key-file=server-key.pem \\
--endpoints="https://192.168.100.10:2379,https://192.168.100.20:2379,https://192.168.100.30:2379" \\
cluster-health
字段解析
--ca-file∶使用此CA证书验证启用https的服务器的证书
--cert-file∶识别HTTPS端使用SSL证书文件
--key-file∶使用此SSL密钥文件标识HTTPS客户端
--endpoints∶集群中以逗号分隔的机器地址列表
cluster-health∶检查etcd集群的运行状况

切换到etcd v3版本查看集群节点状态和成员列表
#v2和v3命令略有不同，etcd2和etcd3也是不兼容的，etcd3.3默认使用v2版本，3.4版本后模式使用的v3版本
export ETCDCTL_API=3
etcdctl --write-out=table endpoint status 
etcdctl --write-out=table member list
export ETCDCTL_API=2                                               #再切回v2版本
或者
export ETCDCTL_API=3 etcdctl --write-out=table endpoint status      #直接跟上命令

四、Kubernetes二进制部署（部署docker 引擎）

所有node节点部署docker引擎，需要使用在线源

yum install -y yum-utils device-mapper-persistent-data lvm2

yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

yum install -y docker-ce docker-ce-cli containerd.io


systemctl enable --now docker.service

配置镜像加速

浏览器访问https://cr.console.aliyun.com/cn-hangzhou/instances/mirrors获取镜像加速器配置

mkdir -p /etc/docker
tee /etc/docker/daemon.json <<-'EOF'


  "registry-mirrors": ["https://b2wtz7bh.mirror.aliyuncs.com"]

EOF
systemctl daemon-reload
systemctl restart docker.service

五、Kubernetes二进制部署（flannel 网络配置）

K8S 中 Pod 网络通信

Pod 内容器与容器之间的通信

在同一个 Pod 内的容器（Pod内的容器是不会跨宿主机的）共享同一个网络命令空间，相当于它们在同一台机器上一样，可以用 localhost 地址访问彼此的端口。

同一个Node内Pod之间的通信

每个Pod 都有一个真实的全局 IP 地址，同一个 Node 内的不同 Pod 之间可以直接采用对方 Pod 的 IP 地址进行通信，Pod1 与 Pod2 都是通过Veth 连接到同一个 docker0 网桥，网段相同，所以它们之间可以直接通信。

不同 Node 上Pod 之间的通信

Pod 地址与 docker0 在同一网段，docker0 网段与宿主机网卡是两个不同的网段，且不同 Node 之间的通信只能通过宿主机的物理网卡进行。要想实现不同 Node 上 Pod 之间的通信，就必须想办法通过主机的物理网卡 IP 地址进行寻址和通信。因此要满足两个条件

Pod 的 IP 不能冲突，将 Pod 的 IP 和所在的 Node的IP关联起来，通过这个关联让不同 Node 上 Pod 之间直接通过内网 IP 地址通信。

Overlay Network

叠加网络，在一层或者三层基础网络上叠加的一种虚拟网络技术模式，该网络中的主机通过虚拟链路隧道连接起来（类似于VPN）。

VXLAN

将源数据包封装到UDP中，并使用基础网络的IP/MAC作为外层报文头进行封装，然后在以太网上传输，到达目的地后由隧道端点解封装并将数据发送给目标地址。

Flannel

Flannel 是一款网络插件CNI其中有（flannel、calico等），Flannel 的功能是让集群中的不同节点主机创建的 Docker 容器都具有全集群唯一的虚拟 IP 地址，在K8s中实现跨主机pod相互间通信。

Flannel 是 Overlay 网络的一种，也是将 TCP 源数据包封装在另一种网络包里面进行路由转发和通信，目前支持 UDP、VXLAN、host-GW静态路由）3种数据转发方式。

Flannel 工作原理

安装flannel工具后，数据从源node节点的pod发出后，会经由 docker0 网卡转发到 flannel0 网卡，在flannel0 网卡的flanneld 服务会对其进行监听，把数据包封装到 udp 报文中，然后根据自己在etcd中维护的路由表信息通过物理网卡转发到目标node节点上，数据包到达目标node节点后会被 flanneld 服务解封装，然后经由该主机上的flannel0 网卡和docker0网卡转发到目标 pod 的容器

ETCD 对 Flannel 提供

存储管理Flannel可分配的IP地址段资源

监控 ETCD 中每个 Pod 节点对应node节点的路由表，并在内存中建立维护 Pod 节点路由表

1.在 master01 节点上操作

添加 flannel 网络配置信息，写入分配的子网段到 etcd 中，供 flannel 使用
cd /opt/etcd/ssl
/opt/etcd/bin/etcdctl \\
--ca-file=ca.pem \\
--cert-file=server.pem \\
--key-file=server-key.pem \\
--endpoints="https://192.168.100.10:2379,https://192.168.100.20:2379,https://192.168.100.30:2379" \\
set /coreos.com/network/config '"Network": "172.17.0.0/16","Backend": "Type": "vxlan"'

#查看写入的信息
/opt/etcd/bin/etcdctl \\
--ca-file=ca.pem \\
--cert-file=server.pem \\
--key-file=server-key.pem \\
--endpoints="https://192.168.100.10:2379,https://192.168.100.20:2379,https://192.168.100.30:2379" \\
get /coreos.com/network/config
"Network": "172.17.0.0/16","Backend": "Type": "vxlan"

注意：要进入证书所在的目录才能进行上面的操作

字段解析

set <key> <value>

set /coreos.com/network/config 添加一条网络配置记录，这个配置将用于flannel分配给每个docker的虚拟IP地址段以及flannel使用转发方式

get<key>

get /coreos.com/network/config 获取网络配置记录，后面不用再跟参数了

Network∶用于指定Flannel地址池

Backend∶用于指定数据包以什么方式转发，默认为udp模式，Backend为vxlan比起预设的udp性能相对好一些

(在任意一台定义flannel网络配置，以键值对形式写入，供flannel使用)

2.在所有 node 节点上操作

上传 flannel.sh 和 flannel-v0.10.0-linux-amd64.tar.gz 到/opt 目录中，解压 flannel 压缩包
cd /opt
tar zxvf flannel-v0.10.0-linux-amd64.tar.gz 
flanneld                                                  #flanneld为主要的执行文件
mk-docker-opts.sh             #mk-docker-opts.sh脚本用于生成Docker启动网络环境参数
README.md

#创建kubernetes工作目录
mkdir -p /opt/kubernetes/cfg,bin,ssl
cd /opt
mv mk-docker-opts.sh flanneld /opt/kubernetes/bin/            #将主要执行文件和docker启动参数移动到工作目录中

#启动flanneld服务，开启flannel网络功能
cd /opt
chmod +x flannel.sh
./flannel.sh https://192.168.100.10:2379,https://192.168.100.20:2379,https://192.168.100.30:2379

flannel启动后会生成一个docker网络相关信息配置文件/run/flannel/subnet.env，包含了docker要使用flannel通讯的相关参数，子网段，空间等
cat /run/flannel/subnet.env
DOCKER_OPT_BIP="--bip=172.17.56.1/24"
DOCKER_OPT_IPMASQ="--ip-masq=false"
DOCKER_OPT_MTU="--mtu=1450"
DOCKER_NETWORK_OPTIONS=" --bip=172.17.56.1/24 --ip-masq=false --mtu=1450"

字段解析

–bip∶指定 docker 启动时的子网

–ip-masq∶ 设置 ipmasg=false 关闭 snat 伪装策略

–mtu=1450∶mtu 要留出50字节给外层的vxlan封包的额外开销使用

3.进入docker启动项中配置(节点都要添加),并测试网络是否通

进入docker启动项中添加flannel定义的相关网路参数，并将flannel添加到启动变量中

vim /usr/lib/systemd/system/docker.service    
EnvironmentFile=/run/flannel/subnet.env
ExecStart=/usr/bin/dockerd $DOCKER_NETWORK_OPTIONS -H fd:// --containerd=/run/containerd/containerd.sock

systemctl daemon-reload                                       #重载后重启服务
systemctl restart docker.service
ifconfig                                                        #重启后docker网段与自定义的flannel网段一致
ping -I 172.17.24.1 172.17.56.1