Kubernetes单节点二进制部署
Posted Zmac111
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Kubernetes单节点二进制部署相关的知识，希望对你有一定的参考价值。
Kubernetes单节点二进制部署
一、常见的K8S部署方式:
1.Minikube
Minikube是一个工具，可以在本地快速运行一个单节点微型K8S，仅用于学习、预览K8S的一些特性使用。部署地址:https://kubernetes.io/docs/setup/minikube
2.Kubeadmin
Kubeadmin也是一个工具，提供kubeadm init和kubeadm join，用于快速部署K8S集群，相对简单。
https:// kubernetes.io/docs/reference/setup-tools/kubeadm/kubeadm/
3.二进制安装部著
生产首选，从官方下载发行版的二进制包，手动部署每个组件和自签TLS证书，组成K8S集群，新手推荐。https://github.com/ kubernetes/kubernetes/releases
二、二进制部署
环境准备
k8s集群master01:192.168.19.11 kube-apiserver kube-controller-manager kube-scheduler etcd
k8s集群master02:192.168.19.33 （为多节点准备）
k8s集群node01:192.168.19.44 kubelet kube-proxy docker flannel
k8s集群node02: 192.168.19.55
etcd集群节点1:192.168.19.11 etcd
etcd集群节点2:192.168.19.44
etcd集群节点3:192.168.19.55
负载均衡nginx+keepalive01 (master）:192.168.19.66
负载均衡nginx+keepalive02 (backup）:192.168.19.77
systemetl stop firewalld
systemctl disable firewalldsetenforce 0
1.部署etcd
etcd是Coreos团队于2013年6月发起的开源项目，它的目标是构建一个高可用的分布式键值(key-value)数据库。etcd内部采用raft协议作为一致性算法,etcd是go语言编写的。
etcd作为服务发现系统,有以下的特点:
简单:安装配置简单,而且提供了HTTP API进行交互，使用也很简单
安全:支持ssL证书验证
快速:单实例支持每秒2k+读操作
可靠:采用raft算法,实现分布式系统数据的可用性和一致性
etcd 目前默认使用2379端口提供HTTP API服务，2380端口和peer通信(这两个端口已经被IANA(互联网数字分配机构)官方预留给etcd)。
即etcd默认使用2379端口对外为客户端提供通讯，使用端口2380来进行服务器间内部通讯。
etcd在生产环境中一般推荐集群方式部署。由于etcd 的leader选举机制，要求至少为3台或以上的奇数台。
准备签发证书环境
CFSSL是Cloudrlare公司开源的一款、 PKI/TLS 工具。CESSI包含一个命令行工具和一个用于签名、验证和捆绑TLS证书的HTTP API 服务。使用Go语言编写。
CFSSL使用配置文件生成证书，因此自签之前，需要生成它识别的json格式的配置文件，CFSSL提供了方便的命令行生成配置文件。CFSSL用来为 etcd提供TLS 证书，它支持签三种类型的证书:
（1）client 证书，服务端连接客户端时携带的证书，用于客户端验证服务端身份，如 kube-apiserver访问etcd;
（2）server 证书，客户端连接服务端时携带的证书，用于服务端验证客户端身份，如 etcd对外提供服务;
（3）peer 证书，相互之间连接时使用的证书，如 etcd节点之间进行验证和通信。
这里全部都使用同一套证书认证。
（1）修改主机名，关闭防火墙
# k8smaster01（192.168.19.11）
hostnamectl set-hostname k8smaster01
su
systemctl stop firewalld.service
systemctl disable firewalld.service
setenforce 0
# k8snode01（192.168.19.44）
hostnamectl set-hostname k8snode01
su
systemctl stop firewalld.service
systemctl disable firewalld.service
setenforce 0
# k8snode02（192.168.19.55）
hostnamectl set-hostname k8snode02
su
systemctl stop firewalld.service
systemctl disable firewalld.service
setenforce 0
（2）上传证书制作工具（k8smaster01上操作）
cd /usr/local/bin
上传 cfssl cfssl-certinfo cfssljson
chmod +x *
注释
cfssl:证书签发的工具命令
cfssljson:将 cfssl生成的证书（json格式）变为文件承载式证书
cfssl-certinfo:验证证书的信息
cfssl-certinfo -cert<证书名称> #查看证书的信息
#创建k8s工作目录
cd /opt
rm -rf *
mkdir k8s/
#上传etcd-cert.sh和etcd.sh到/opt/k8s/目录中
chmod +x etcd-cert.sh etcd.sh
#创建用于生成CA证书、etcd服务器证书以及私钥的目录
mkdir etcd-cert
mv etcd-cert.sh etcd-cert/
cd etcd-cert/
./etcd-cert.sh
#生成CA证书、etcd服务器证书以及私钥
ls
（3）启动etcd服务（k8smaster01上操作）
#etcd二进制包地址: https://github.comletcd-ioletcd/releases
#上传 etcd-v3.3.10-linux-amd64.tar.gz到/opt/k8s/目录中，解压etcd压缩包
cd /opt/k8s/
tar zxvf etcd-v3.3.10-linux-amd64.tar.gz
ls etcd-v3.3.10-linux-amd64
注释
etcd就是etcd服务的启动命令,后面可跟各种启动参数
etedctl主要为etcd服务提供了命令行操作
#创建用于存放etcd配置文件,命令文件，证书的目录
mkdir -p /opt/etcd/{cfg,bin,ssl}
mv etcd-v3.3.10-linux-amd64/etcd etcd-v3.3.10-linux-amd64/etcdctl /opt/etcd/bin
cp etcd-cert/*.pem /opt/etcd/ssl/
./etcd.sh etcd01 192.168.19.11 etcd02=https://192.168.19.44:2380,etcd03=https://192.168.19.55:2380
#进入卡住状态等待其他节点加入，这里需要三台etcd服务同时启动，如果只启动其中一台后，服务会卡在那里，直到集群中所有etcd节点都己启动,可忽略这个情况
#另外打开一个窗口查看etcd进程是否正常
ps -ef | grep etcd
#把etcd相关证书文件和命令文件全部拷贝到另外两个etcd集群节点
scp -r /opt/etcd/ root@192.168.19.44:/opt/
scp -r /opt/etcd/ root@192.168.19.55:/opt/
#把etcd服务管理文件拷贝到另外两个etcd集群节点
scp /usr/lib/systemd/system/etcd.service root@192.168.19.44:/usr/lib/systemd/system/
scp /usr/lib/systemd/system/etcd.service root@192.168.19.55:/usr/lib/systemd/system/
（4）修改node01和node02的配置文件（k8snode01和k8snode02）
# k8snode01（192.168.19.44）
vim /opt/etcd/cfg/etcd
#[Member]
ETCD_NAME="etcd02"
ETCD_DATA_DIR="/var/lib/etcd/default.etcd"
ETCD_LISTEN_PEER_URLS="https://192.168.19.44:2380"
ETCD_LISTEN_CLIENT_URLS="https://192.168.19.44:2379"
#[Clustering]
ETCD_INITIAL_ADVERTISE_PEER_URLS="https://192.168.19.44:2380"
ETCD_ADVERTISE_CLIENT_URLS="https://192.168.19.44:2379"
ETCD_INITIAL_CLUSTER="etcd01=https://192.168.19.11:2380,etcd02=https://192.168.19.44:2380,etcd03=https://192.168.19.55:2380"
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"
ETCD_INITIAL_CLUSTER_STATE="new"
# k8snode02（192.168.19.55）
vim /opt/etcd/cfg/etcd
#[Member]
ETCD_NAME="etcd03"
ETCD_DATA_DIR="/var/lib/etcd/default.etcd"
ETCD_LISTEN_PEER_URLS="https://192.168.19.55:2380"
ETCD_LISTEN_CLIENT_URLS="https://192.168.19.55:2379"
#[Clustering]
ETCD_INITIAL_ADVERTISE_PEER_URLS="https://192.168.19.55:2380"
ETCD_ADVERTISE_CLIENT_URLS="https://192.168.19.55:2379"
ETCD_INITIAL_CLUSTER="etcd01=https://192.168.19.11:2380,etcd02=https://192.168.19.44:2380,etcd03=https://192.168.19.55:2380"
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"
ETCD_INITIAL_CLUSTER_STATE="new"
#启动etcd服务
systemctl start etcd
systemctl enable etcd
systemctl status etcd
（k8smaster01上操作）
ln -s /opt/etcd/bin/etcd* /usr/local/bin
#检查etcd群集状态
cd /opt/etcd/ssl
/opt/etcd/bin/etcdctl \\
--ca-file=ca.pem \\
--cert-file=server.pem \\
--key-file=server-key.pem \\
--endpoints="https://192.168.19.11:2379,https://192.168.19.44:2379,https://192.168.19.55:2379" \\
cluster-health
注释
--cert-file:识别HTTPS端使用SSL证书文件
--key-file:使用此ssL密钥文件标识HTTPS客户端
--ca-file:使用此CA证书验证启用https的服务器的证书--endpoints:集群中以逗号分隔的机器地址列表
cluster-health:检查etcd集群的运行状况
2.部署docker引擎（在所有node节点上操作）
yum install -y yum-utils device-mapper-persistent-data lvm2
yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
yum install -y docker-ce docker-ce-cli containerd.io
systemctl start docker.service
systemctl enable docker.service
#镜像加速
mkdir -p /etc/docker
tee /etc/docker/daemon.json <<-'EOF'
{
"registry-mirrors": ["https://bupq07hd.mirror.aliyuncs.com"]
}
EOF
systemctl daemon-reload
systemctl restart docker
#网络优化
vim /etc/sysctl.conf #添加 net.ipv4.ip_forward = 1
sysctl -p
systemctl restart docker
systemctl restart network
3.flannel 网络配置
概述
K8S 中 Pod 网络通信
（1）Pod 内容器与容器之间的通信
在同一个 Pod 内的容器（Pod 内的容器是不会跨宿主机的）共享同一个网络命令空间，相当于它们在同一台机器上一样，可以用 localhost 地址访问彼此的端口。
（2）同一个 Node 内 Pod 之间的通信
每个 Pod 都有一个真实的全局 IP 地址，同一个 Node 内的不同 Pod 之间可以直接采用对方 Pod 的 IP 地址进行通信，Pod1 与 Pod2 都是通过 Veth 连接到同一个 docker0 网桥，网段相同，所以它们之间可以直接通信。
（3）不同 Node 上 Pod 之间的通信
Pod 地址与 docker0 在同一网段，docker0 网段与宿主机网卡是两个不同的网段，且不同 Node 之间的通信只能通过宿主机的物理网卡进行。
要想实现不同 Node 上 Pod 之间的通信，就必须想办法通过主机的物理网卡 IP 地址进行寻址和通信。因此要满足两个条件：Pod 的 IP 不能冲突；将 Pod 的 IP 和所在的 Node 的 IP 关联起来，通过这个关联让不同 Node 上 Pod 之间直接通过内网 IP 地址通信。
Overlay Network
叠加网络，在二层或者三层基础网络上叠加的一种虚拟网络技术模式，该网络中的主机通过虚拟链路隧道连接起来（类似于VPN）。
VXLAN
将源数据包封装到UDP中，并使用基础网络的IP/MAC作为外层报文头进行封装，然后在以太网上传输，到达目的地后由隧道端点解封装并将数据发送给目标地址。
Flannel
Flannel 的功能是让集群中的不同节点主机创建的 Docker 容器都具有全集群唯一的虚拟 IP 地址。
Flannel 是 Overlay 网络的一种，也是将 TCP 源数据包封装在另一种网络包里面进行路由转发和通信，目前己经支持 UDP、 VXLAN、 AWS VPC 等数据转发方式。
Flannel 工作原理
数据从 node01 上 Pod 的源容器中发出后，经由所在主机的 docker0 虚拟网卡转发到 flannel0 虚拟网卡，flanneld 服务监听在 flannel0 虚拟网卡的另外一端。
Flannel 通过 Etcd 服务维护了一张节点间的路由表。源主机 node01 的 flanneld 服务将原本的数据内容封装到 UDP 中后根据自己的路由表通过物理网卡投递给目的节点 node02 的 flanneld 服务，数据到达以后被解包，然后直接进入目的节点的 flannel0 虚拟网卡，之后被转发到目的主机的 docker0 虚拟网卡，最后就像本机容器通信一样由 docker0 转发到目标容器。
ETCD 之 Flannel 提供说明
存储管理Flannel可分配的IP地址段资源
监控 ETCD 中每个 Pod 的实际地址，并在内存中建立维护 Pod 节点路由表
（1）在 k8smaster01 节点上操作
#添加 flannel 网络配置信息，写入分配的子网段到 etcd 中，供 flannel 使用
cd /opt/etcd/ssl
/opt/etcd/bin/etcdctl \\
--ca-file=ca.pem \\
--cert-file=server.pem \\
--key-file=server-key.pem \\
--endpoints="https://192.168.19.11:2379,https://192.168.19.44:2379,https://192.168.19.55:2379" \\
set /coreos.com/network/config '{"Network": "172.17.0.0/16", "Backend": {"Type": "vxlan"}}'
#查看写入的信息
/opt/etcd/bin/etcdctl \\
--ca-file=ca.pem \\
--cert-file=server.pem \\
--key-file=server-key.pem \\
--endpoints="https://192.168.19.11:2379,https://192.168.19.44:2379,https://192.168.19.55:2379" \\
get /coreos.com/network/config
注释
set <key> <value>
set /coreos.com/network/config 添加一条网络配置记录，这个配置将用于flannel分配给每个docker的虚拟IP地址段
get <key>
get /coreos.com/network/config 获取网络配置记录，后面不用再跟参数了
Network：用于指定Flannel地址池
Backend：用于指定数据包以什么方式转发，默认为udp模式，Backend为vxlan比起预设的udp性能相对好一些
（2）在所有 node 节点上操作
#上传 flannel.sh 和 flannel-v0.10.0-linux-amd64.tar.gz 到 /opt 目录中，解压 flannel 压缩包
cd /opt
tar zxvf flannel-v0.10.0-linux-amd64.tar.gz
注释
flanneld #flanneld为主要的执行文件
mk-docker-opts.sh #mk-docker-opts.sh脚本用于生成Docker启动参数
README.md
#创建kubernetes工作目录
mkdir -p /opt/kubernetes/{cfg,bin,ssl}
cd /opt
mv mk-docker-opts.sh flanneld /opt/kubernetes/bin/
#启动flanneld服务，开启flannel网络功能
cd /opt
chmod +x flannel.sh
./flannel.sh https://192.168.19.11:2379,https://192.168.19.44:2379,https://192.168.19.55:2379
#flannel启动后会生成一个docker网络相关信息配置文件/run/flannel/subnet.env，包含了docker要使用flannel通讯的相关参数
cat /run/flannel/subnet.env
#node01
DOCKER_OPT_BIP="--bip=172.17.52.1/24"
DOCKER_OPT_IPMASQ="--ip-masq=false"
DOCKER_OPT_MTU="--mtu=1450"
DOCKER_NETWORK_OPTIONS=" --bip=172.17.52.1/24 --ip-masq=false --mtu=1450"
#node02
DOCKER_OPT_BIP="--bip=172.17.97.1/24"
DOCKER_OPT_IPMASQ="--ip-masq=false"
DOCKER_OPT_MTU="--mtu=1450"
DOCKER_NETWORK_OPTIONS=" --bip=172.17.97.1/24 --ip-masq=false --mtu=1450"
注释
--bip：指定 docker 启动时的子网
--ip-masq：设置 ipmasq=false 关闭 snat 伪装策略
--mtu=1450：mtu 要留出50字节给外层的vxlan封包的额外开销使用
Flannel启动过程解析
1、从etcd中获取network的配置信息
2、划分subnet，并在etcd中进行注册
3、将子网信息记录到/run/flannel/subnet.env中
#修改docker服务管理文件，配置docker连接flannel
vim /lib/systemd/system/docker.service
......
[Service]
Type=notify
# the default is not to use systemd for cgroups because the delegate issues still
# exists and systemd currently does not support the cgroup feature set required
# for containers run by docker
EnvironmentFile=/run/flannel/subnet.env #添加
ExecStart=/usr/bin/dockerd $DOCKER_NETWORK_OPTIONS -H fd:// --containerd=/run/containerd/containerd.sock #修改
ExecReload=/bin/kill -s HUP $MAINPID
TimeoutSec=0
RestartSec=2
Restart=always
#重启docker服务
systemctl Kubernetes二进制部署 单节点master