Kubernetes单Master节点集群二进制部署
Posted 噫噫噫呀呀呀
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Kubernetes单Master节点集群二进制部署相关的知识，希望对你有一定的参考价值。
目录
- 前言
- Kubernetes单Master节点集群二进制部署
- 四、部署master节点
- 五、node节点的部署
- node01节点的部署
- 1、把 kubelet、kube-proxy拷贝到node节点上去（master01上操作）
- 2、复制node.zip到/opt目录下再解压(node01节点操作)
- 3、安装软件包（master01上操作）
- 4、拷贝配置文件到node节点中（master01上操作）
- 5、创建bootstrap角色赋予权限用于连接apiserver请求签名（关键）（master01上操作）
- 6、执行kubelet.sh脚本（在node01节点上操作）
- 7、检查到node01节点的请求（master01上操作）
- 8、查看证书（node01上）
- 9、查看maser01群集节点，成功加入node01节点
- 10、加载ip_vs模块（node01和02）
- 11、启动proxy服务（node01）
- 12、将node01中的配置文件复制到node02（在node01上操作）
- 13、执行（node02上操作）
- 14、启动kube-proxy
- 15、查看集群节点
前言
常见的K8S按照部署方式
●Minikube
Minikube是一个工具，可以在本地快速运行一个单节点微型K8S，仅用于学习、预览K8S的一些特性使用。
部署地址: https://kubernetes. io/docs/setup/minikube
●Kubeadmin
Kubeadmin也是一一个:工具，提供kubeadm init和 kubeadm join，用于快速部署K8S集群，相对简单。
https://kubernetes. io/decs/referencel/setup-toels/kubeadm/kubeadm/
●二进制安装部署
生产首选，从官方下载发行版的二进制包，手动部署每个组件和自签TLS证书，组成K8S集群，新手推荐。
https: //github. com/kubernetes/kubernetes/releases
Kubernetes单Master节点集群二进制部署
一.Kubernetes单Master集群架构
二.环境准备
| 节点 | 系统 | IP地址 | 服务 |
|---|---|---|---|
| K8S集群Master01 | CentOS 7 | 192.168.110.10 | kube-apiserver kube-controller-manager kube-scheduler etcd |
| K8S集群Node01 | CentOS 7 | 192.168.110.60 | kubelet kube-proxy docker flannel |
| K8S集群Node02 | CentOS 7 | 192.168.110.70 | kubelet kube-proxy docker flannel |
| Etcd集群节点01 | CentOS 7 | 192.168.110.10 | etcd |
| Etcd集群节点02 | CentOS 7 | 192.168.110.60 | etcd |
| Etcd集群节点03 | CentOS 7 | 192.168.110.70 | etcd |
#所有节点操作
systemctl stop firewalld
systemctl disable firewalld
setenforce 0
#Master节点操作 (192.168.110.10)
hostnamectl set-hostname master01
#Master节点操作(192.168.110.60)
hostnamectl set-hostname node01
#Master节点操作 (192.168.110.70)
hostnamectl set-hostname node02
三.Etcd集群部署
etcd是Core0S团队于2013年6月发起的开源项目，它的目标是构建一个高可用的分布式键值(key-value) 数据库。etcd内部采用raft协议作为一致性算法，etcd是go语言编写的。
etcd作为服务发现系统，有以下的特点:
简单:安装配置简单，而且提供了HTTP API进行交互，使用也很简单
安全:支持SSL证书验证
快速:单实例支持每秒2k+读操作
可靠:采用raft算法，实现分布式系统数据的可用性和–致性
etcd目前默认使用2379端口提供HTTP API服务，2380端口和peer通信(这两个端口已经被IANA(互联网数字分配机构)官方预留给etcd)。
即etcd默认使用2379端口对外为客户端提供通讯，使用端口2380来进行服务器间内部通讯。
etcd在生产环境中一般推荐集群方式部署。由于etcd的leader选举机制，要求至少为3台或以上的奇数台。
1.准备签发证书环境
CFSSL是CloudFlare公司开源的一款PKI/TLS工具。CFSSL 包含一个命令行工具和一一个用于签名、验证和捆绑TLS证书的HTTP API服务。使用Go语言编写。
CFSSL使用配置文件生成证书，因此自签之前，需要生成它识别的json 格式的配置文件，CFSSL 提供了方便的命令行生成配置文件。
CFSSL用来为etcd提供TLS证书，它支持签三种类型的证书:
1、client 证书，服务端连接客户端时携带的证书，用于客户端验证服务端身份，如kube-apiserver 访问etcd;
2、server证书，客户端连接服务端时携带的证书，用于服务端验证客户端身份，如etcd对外提供服务;
3、peer证书，相互之间连接时使用的证书，如etcd节点之间进行验证和通信。
这里全部都使用同一套证书认证。
在master01 节点上操作
//下载证书制作工具
wget https://pkg.cfssl.org/R1.2/cfssl_linux-amd64 -O /usr/local/bin/cfssl
wget https://pkg.cfssl.org/R1.2/cfssljson_linux-amd64 -O /usr/1ocal/bin/cfssljson
wget https://pkg.cfssl.org/R1.2/cfssl-certinfo_linux-amd64 -O /usr/local/bin/cfssl-certinfo
或
curl -L https://pkg.cfssl.org/R1.2/cfssl_linux-amd64 -O /usr/ local/bin/cfssl
curl -L https://pkg.cfssl.org/R1.2/cfssljson_linux-amd64 -O /usr/local/bin/cfssljson
curl -L https://pkg.cfssl.org/R1.2/cfssl-certinfo_linux-amd64 -O /usr/local/bin/cfssl-certinfo
chmod +x /usr/local/bin/cfssl*
2.生成CA证书、etcd服务器证书以及私钥
在master01 节点上操作
mkdir /opt/k8s
cd /opt/k8s/
//上传etcd-cert.sh 和etcd.sh 到/opt/k8s/目录中
chmod +x etcd-cert.sh
//创建用于生成CA证书、etcd服务器证书以及私钥的目录
mkdir /opt/k8s/etcd-cert
mv etcd-cert.sh etcd-cert/
cd /opt/k8s/etcd-cert/
./etcd-cert.sh
#生成CA证书、etcd服务器证书以及私钥
生成CA证书、etcd服务器证书以及私钥的脚本详细内容查看：etcd-cert.sh
3.安装Etcd
在master01 节点上操作
//上传etcd-v3.3. 10-linux-amd64.tar.gz到/opt/k8s/目录中，解压etcd 压缩包
cd /opt/k8s/
tar zxvf etcd-v3.3.10-linux-amd64.tar.gz
ls etcd-v3.3.10-linux-amd64
Documentation etcd etcdctl README-etcdctl.md README.md READMEv2-etcdctl.md
etcd就是etcd服务的启动命令，后面可跟各种启动参数
etcdctl主要为etcd服务提供了命令行操作
4.在Master01节点启动Etcd集群节点01
在master01 节点上操作
//创建用于存放etcd配置文件，命令文件，证书的目录
mkdir -p /opt/etcd/{cfg,bin,ssl}
mv /opt/k8s/etcd-v3.3.10-linux-amd64/etcd /opt/k8s/etcd-v3.3.10-1inux-amd64/etcdctl /opt/etcd/bin/
cp /opt/k8s/etcd-cert/*.pem /opt/etcd/ssl/
cd /opt/k8s/
chmod +x etcd.sh
启动etcd服务的脚本详细内容查看：etcd.sh
./etcd.sh etcd01 192.168.110.10 etcd02=https://192.168.110.60:2380,etcd03=https://192.168.110.70:2380
//进入卡住状态等待其他节点加入，这里需要三台etcd服务同时启动，如果只启动其中一台后，服务会卡在那里，直到集群中所有etcd节点都已启动，可忽略这个情况
//另外打开一个窗口查看etcd进程是否正常
ps -ef | grep etcd
5.将证书，命令文件，服务启动脚本拷贝到另外两个etcd集群节点
在master01 节点上操作
//把etcd相关证书文件和命令文件全部拷贝到另外两个etcd集群节点
scp -r /opt/etcd/ root@192.168.110.60:/opt/
scp -r /opt/etcd/ root@192.168.110.70:/opt/
//启动脚本拷贝其他节点
scp /usr/lib/systemd/system/etcd.service root@192.168.110.60:/usr/lib/systemd/system/
scp /usr/lib/systemd/system/etcd.service root@192.168.110.70:/usr/lib/systemd/system/
6.在其他节点修改etcd配置文件
在node01 节点上操作
vim /opt/etcd/cfg/etcd
#[Member]
ETCD_NAME="etcd02"
ETCD_DATA_DIR="/var/lib/etcd/default.etcd"
ETCD_LISTEN_PEER_URLS="https://192.168.110.60:2380"
ETCD_LISTEN_CLIENT_URLS="https://192.168.110.60:2379"
#[Clustering]
ETCD_INITIAL_ADVERTISE_PEER_URLS="https://192.168.110.60:2380"
ETCD_ADVERTISE_CLIENT_URLS="https://192.168.110.60:2379"
ETCD_INITIAL_CLUSTER="etcd01=https://192.168.110.10:2380,etcd02=https://192.168.110.60:2380,etcd03=https://192.168.110.70:2380"
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"
ETCD_INITIAL_CLUSTER_STATE="new"
//启动
systemctl start etcd
systemctl status etcd
在node02 节点上操作
vim /opt/etcd/cfg/etcd
#[Member]
ETCD_NAME="etcd03"
ETCD_DATA_DIR="/var/lib/etcd/default.etcd"
ETCD_LISTEN_PEER_URLS="https://192.168.110.70:2380"
ETCD_LISTEN_CLIENT_URLS="https://192.168.110.70:2379"
#[Clustering]
ETCD_INITIAL_ADVERTISE_PEER_URLS="https://192.168.110.70:2380"
ETCD_ADVERTISE_CLIENT_URLS="https://192.168.110.70:2379"
ETCD_INITIAL_CLUSTER="etcd01=https://192.168.110.10:2380,etcd02=https://192.168.110.60:2380,etcd03=https://192.168.110.70:2380"
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"
ETCD_INITIAL_CLUSTER_STATE="new"
//启动
systemctl start etcd
systemctl status etcd
7.检查群集状态
在master01 节点上操作
ln -s /opt/etcd/bin/etcd* /usr/local/bin
//检查etcd群集状态
cd /opt/etcd/ssl
/opt/etcd/bin/etcdctl \\
-ca-file=ca.pem \\
-cert-file=server.pem \\
-key-file=server-key.pem \\
-endpoints="https://192.168.110.10:2379,https://192.168.110.60:2379,https;//192.168.110.70:2379" \\
cluster-health
-cert-file: 识别HTTPS端使用SSL证书文件
-key-file: 使用此SSL密钥文件标识HTTPS客户端
-ca-file:使用此CA证书验证启用https的服务器的证书
–endpoints: 集群中以逗号分隔的机器地址列表
cluster–health: 检查etcd集群的运行状况
在这里插入图片描述
二.部署docker引擎
在node01节点和node02节点上操作
//所有node节点部署docker引擎
yum install -y yum-utils device-mapper-persistent-data lvm2
yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
yum install -y docker-ce
systemctl start docker.service
systemctl enable docker.service
三.Flannel网络配置
K8S中Pod网络通信
●Pod内容器与容器之间的通信
在同一个Pod 内的容器(Pod 内的容器是不会跨宿主机的)共享同一个网络命令空间，相当于它们在同一台机器上一样，可以用
localhost 地址访问彼此的端口。
●同一个Node内Pod之间的通信
每个Pod都有一个真实的全局IP地址，同一个Node 内的不同Pod之，间可以直接采用对方Pod的IP地址进行通信，Pod1 与Pod2都是通过Veth连接到同一个docker0 网桥，网段相同，所以它们之间可以直接通信。
●不同Node上Pod之间的通信
Pod地址与docker0 在同一网段，docker0 网段与宿主机网卡是两个不同的网段，且不同Node之间的通信只能通过宿主机的物理网卡进行。
要想实现不同Node上Pod之间的通信，就必须想办法通过主机的物理网卡IP地址进行寻址和通信。因此要满足两个条件: Pod的
IP不能冲突;将Pod的IP和所在的Node 的IP关联起来，通过这个关联让不同Node上Pod之间直接通过内网IP地址通信。
Overlay Network:
叠加网络，在二层或者三层基础网络.上叠加的一种虚拟网络技术模式，该网络中的主机通过虚拟链路隧道连接起来( 类似于VPN)。
VXLAN:
将源数据包封装到UDP中，并使用基础网络的IP/MAC作为外层报文头进行封装，然后在以太网上传输，到达目的地后由隧道端点解封装并将数据发送给目标地址。
Flannel:
Flannel的功能是让集群中的不同节点主机创建的Docker 容器都具有全集群唯一的虚拟IP地址。
Flannel是Overlay网络的一种，也是将TCP源数据包封装在另一种网络包里面进行路由转发和通信，目前己经支持UDP、VXLAN、
AWSVPC等数据转发方式。
Flannel 工作原理
node1上的pod1 要和node2上的pod1进行通信，数据从node1上的Pod1源容器中发出后，经由所在主机的docker0 虚拟网卡转发到flannel0虚拟网卡,再由flanneld把pod ip封装到udp中（里面有源pod IP和目的pod IP），根据在etcd保存的路由表 通过物理网卡发送给目的node2的flanneld，来进行解封装暴露出udp里的pod IP,最后根据目的pod IP经flannel0虚拟网卡和docker0虚拟网卡转发到目的pod中，完成通信。
ETCD之Flannel提供说明
存储管理Flannel可分配的IP地址段资源
监控ETCD 中每个Pod的实际地址，并在内存中建立维护Pod 节点路由表
1.添加flannel 网络配置信息
在master01 节点上操作
//添加flannel 网络配置信息，写入分配的子网段到etcd中，供flannel 使用
cd /opt/etcd/ssl
/opt/etcd/bin/etcdctl \\
--ca-file=ca.pem \\
--cert-file=server.pem \\
--key-file=server-key.pem \\
--endpoints="https://192.168.110.10:2379,https://192.168.110.60:2379,https://192.168.110.70:2379" \\
set /coreos.com/network/config '{"Network": "172.17.0.0/16","Backend": {"Type": "vxlan"}}'
//查看写入的信息
/opt/etcd/bin/etcdctl \\
--ca-file=ca.pem \\
--cert-file=server.pem \\
--key-file=server-key.pem \\
--endpoints="https://192.168.110.10:2379,https://192.168.110.60:2379,https://192.168.110.70:2379" \\
get /coreos.com/network/config
set <key> <value>
set /coreos com/network/config添加一条网络配置记录，这个配置将用于flannel分配给每个docker的虚拟IP地址段
get <key>
get /coreos.com/network/config获取网络配置记录，后面不用再跟参数了
Network:用于指定Flannel地址池
Backend:用于指定数据包以什么方式转发，默认为udp模式，Backend为vxlan 比起预设的udp性能相对好一些
2.安装并启动Flannel服务
在所有node 节点上操作
//上传flannel.sh和flannel-v0.10.0-1inux-amd64.tar.gz到/opt 目录中，解压flannel 压缩包
cd /opt
tar zxvf flannel-v0.10.0-linux-amd64.tar.gz
flanneld #flanneld为主要的执行文件
mk-docker-opts.sh #mk-docker-opts.sh脚本用于生成Docker启动参数
README.md
//创建kubernetes工作目录
mkdir -p /opt/kubernetes/{cfg,bin,ssl}
mv mk-docker-opts.sh flanneld /opt/kubernetes/bin/
//启动flanneld服务，开启flannel网络功能
cd /opt
chmod +x flannel.sh
./flannel.sh https://192.168.110.10:2379,https://192.168.110.60:2379,https://192.168.110.70:2379
启动Flannel服务的脚本详细内容查看：flannel.sh
//flannel启动后会生成一个docker网络相关信息配置文件/run/flannel/subnet.env，包含了docker要使用flannel通讯的相关参数
cat / run/flannel/subnet.env
DOCKER_OPT_BIP="--bip=172.17.26.1/24"
DOCKER_OPT_ IPMASQ="--ip-masq= false"
DOCKER_OPT_MTU="--mtu=1450"
DOCKER NETWORK OPTIONS="--bip=172.17.26. 1/24 --ip-masq-false--mtu=1450"
--bip: 指定docker启动时的子网
--ip-masq: 设置ipmasq=false 关闭snat伪装策略
--mtu=1450:mtu要留出50字节给外层的vxlan封包的额外开销使用
3.配置Docker连接Flannel
在所有node 节点上操作
vim /usr/lib/systemd/system/docker.service
[Service]
....
#for containers run by docker
EnvironmentFile=/run/flannel/subnet.env #添加此行
ExecStart=/usr/bin/dockerd $DOCKER_NETWORK_OPTIONS -H fd:// --containerd=/run/containerd/containerd.sock
....
//重启docker服务
systemctl daemon-reload
systemctl restart docker
//查看flannel网络
ifconfig
//测试ping通对方docker0网卡证明flannel起到路由作用
node1:ping 172.17.89.1
node2:ping 172.17.51.1
4.在两个Node节点内创建Docker容器，进行测试
在所有node 节点上操作
docker run -it centos:7 /bin/bash
yum install net-tools -y
ifconfig
分别在两个容器内查看IP地址
在node01节点：ping 172.17.42.2
在node02节点：ping 172.17.35.2
四、部署master节点
master01上操作
1、api-server生成证书
cd /opt/k8s/
unzip master.zip
chmod +x controller-manager.sh
mkdir /opt/kubernetes/{cfg,bin,ssl} -p
mkdir k8s-cert #创建k8s证书存放目录
mv k8s-cert.sh k8s-cert
vim k8s-cert.sh
./k8s-cert.sh
cp apiserver*pem ca*pem /opt/kubernetes/ssl/
mv kubernetes-server-linux-amd64.tar.gz k8s/
tar zxvf kubernetes-server-linux-amd64.tar.gz
cp kube-apiserver kubectl kube-controller-manager kube-scheduler /opt/kubernetes/bin/
ln -s /opt/kubernetes/bin/* /usr/local/bin/
2、创建bootstrap token认证文件
head -c 16 /dev/urandom | od -An -t x | tr -d ' '
#使用 head -c 16 /dev/urandom | od -An -t x | tr -d ' ' 可以随机生成序列号
vim /opt/kubernetes/cfg/token.csv
6e96b262027ff552685dd2f332a07a17,kubelet-bootstrap,10001,"system:kubelet-bootstrap"
3、启动apiserver
./apiserver.sh 192.168.110.10 https://192.168.110.10:2379,https://192.168.110.60:2379,https://192.168.110.70:2379
ps aux | grep kube-apiservice
4、启动scheduler服务
./scheduler.sh 127.0.0.1
ps aux | grep ku
5、启动controller-manager
./controller-manager.sh 127.0.0.1
6、查看master 节点状态
/opt/kubernetes/bin/kubectl get cs
五、node节点的部署
node01节点的部署
1、把 kubelet、kube-proxy拷贝到node节点上去（master01上操作）
cd /opt/k8s/kubernetes/server/bin
scp kubelet kube-proxy root@192.168.110.60:/opt/kubernetes/bin/
scp kubelet kube-proxy root@192.168.110.70:/opt/kubernetes/bin以上是关于Kubernetes单Master节点集群二进制部署的主要内容，如果未能解决你的问题，请参考以下文章
K8S------Kubernetes单Master集群二进制搭建