Kubernetes集群搭建，基于kubeadm自动化脚本内外网两种方式部署

Posted 2021-09-17 刘小豆豆豆

1、自动化脚本

脚本内容：配置基础环境、安装docker、cni、kubelet、kubeadm、kubectl，主节点、工作节点都要执行。

# 重置kubeadm
echo "----------------重置系统环境--------------------"
sudo kubeadm reset

# 重置iptables
iptables -F && iptables -t nat -F && iptables -t mangle -F && iptables -X
sudo sysctl net.bridge.bridge-nf-call-iptables=1

# 重置网卡信息
sudo ip link del cni0
sudo ip link del flannel.1

# 关闭防火墙
sudo systemctl stop firewalld
sudo systemctl disable firewalld

# 禁用SELINUX
setenforce 0

# vim /etc/selinux/config
sudo sed -i "s/SELINUX=.*/SELINUX=disable/g" /etc/selinux/config

# 关闭系统的Swap方法如下:
# 编辑`/etc/fstab`文件，注释掉引用`swap`的行，保存并重启后输入:
sudo swapoff -a #临时关闭swap
sudo sed -i 's/.*swap.*/#&/' /etc/fstab 

echo "----------------检查Docker是否安装--------------------"
sudo yum list installed | grep 'docker-ce'
if [  $? -ne 0 ];then
    echo "Docker未安装"
    echo "----------------安装 Docker--------------------"
    # 卸载docker
    sudo yum remove -y $(rpm -qa | grep docker)
    # 安装docker
    sudo yum install -y yum-utils device-mapper-persistent-data lvm2
    sudo yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
    sudo yum install -y docker-ce
    # 重启docker
    sudo systemctl enable docker
    sudo systemctl restart docker
else
    echo "Docker已安装"
fi

echo "----------------修改yum源--------------------"
# 修改为aliyun yum源
cat <<EOF > kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

sudo mv kubernetes.repo /etc/yum.repos.d/

# 查看可用版本
# sudo yum list --showduplicates | grep 'kubeadm\\|kubectl\\|kubelet'
# 安装 kubeadm, kubelet 和 kubectl
echo "----------------移除kubelet kubeadm kubectl--------------------"
sudo yum remove -y kubelet kubeadm kubectl


echo "----------------删除残留配置文件--------------------"
# 删除残留配置文件
modprobe -r ipip
lsmod
sudo rm -rf ~/.kube/
sudo rm -rf /etc/kubernetes/
sudo rm -rf /etc/systemd/system/kubelet.service.d
sudo rm -rf /etc/systemd/system/kubelet.service
sudo rm -rf /usr/bin/kube*
sudo rm -rf /etc/cni
sudo rm -rf /opt/cni
sudo rm -rf /var/lib/etcd
sudo rm -rf /var/etcd

echo "----------------配置cni--------------------"
# 配置cni
sudo mkdir -p /etc/cni/net.d/

cat <<EOF > 10-flannel.conflist
{
  "name": "cbr0",
  "plugins": [
    {
      "type": "flannel",
      "delegate": {
        "hairpinMode": true,
        "isDefaultGateway": true
      }
    },
    {
      "type": "portmap",
      "capabilities": {
        "portMappings": true
      }
    }
  ]
}
EOF
sudo mv 10-flannel.conflist /etc/cni/net.d/

echo "----------------安装 cni/kubelet/kubeadm/kubectl--------------------"
# 安装 cni/kubelet/kubeadm/kubectl
sudo yum install -y kubernetes-cni-0.6.0-0.x86_64 kubelet-1.13.1 kubeadm-1.13.1 kubectl-1.13.1 --disableexcludes=kubernetes
# 重新加载 kubelet.service 配置文件
sudo systemctl daemon-reload

echo "----------------启动 kubelet--------------------"
# 启动 kubelet
sudo systemctl enable kubelet
sudo systemctl restart kubelet

sudo sysctl net.bridge.bridge-nf-call-iptables=1

echo "----------------启用 ipv6--------------------"
# 启用 ipv6
sudo sed -i 's\\ipv6.disable=1\\ipv6.disable=0\\g' /etc/default/grub
sudo grub2-mkconfig -o /boot/grub2/grub.cfg

echo "----------------安装完成，重启机器--------------------"
sudo reboot

2、初始化主节点

非公网IP初始化命令：xx.xx.xx.xx为本机ip

kubeadm init --image-repository registry.aliyuncs.com/google_containers  
 --apiserver-advertise-address xx.xx.xx.xx --pod-network-cidr=10.244.0.0/16 
 --service-cidr=10.96.0.0/12

云服务使用公网IP的使用以下命令（看【1】注意）：

kubeadm init --image-repository registry.aliyuncs.com/google_containers 
 --pod-network-cidr=10.244.0.0/16 
 --apiserver-cert-extra-sans=120.79.23.226

命令概述

• --apiserver-advertise-address : master 和 worker 间能互相通信的 IP
• --kubernetes-version : 指定版本
• --image-repository ：使用阿里云镜像，若可以接通外网忽略此项
• --apiserver-cert-extra-sans：节点验证证书阶段忽略错误

至此，master 节点安装完成，可以使用 kubectl get nodes 查看，此时 master状态。

Your Kubernetes control-plane has initialized successfully!To start using your cluster, you need to run the 
following as a regular user:  mkdir -p $HOME/.kube  sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config  
sudo chown $(id -u):$(id -g) $HOME/.kube/config...  

kubeadm join xx.xx.xx.xx:6443 --token qzpag0.9to4x04asdd383o \\    
--discovery-token-ca-cert-hash sha256:21611a589d89ad6218e7154asda5sda6e0bf78657dbeb9e10a80fd

【0】注意：执行后会返回 node 节点添加到集群的命令（如上），如果忘记可使用命令 kubeadm token create --print-join-command 查看。

【1】注意：若主机是阿里云、腾讯云的ECS，--apiserver-advertise-address 设置的IP不能是公网IP，否则会初始化失败（Initial timeout of 40s passed）因此要写内网IP或不配置此参数，解决方案在后文。

【2】注意：若初始化k8s集群失败，在下一次执行 kubeadm init 初始化命令前，先执行 kubeadm reset 命令重置节点，清理环境。否则再次 kubeadm init 初始化时会报 Port 10250 is in use 等错误。

4、工作节点加入到集群中：

在工作节点执行1中的脚本

1、使用非公网加入：

执行初始化Master节点返回的命令，注意此时返回的ip是内网的ip，通过内网连接

kubeadm join xx.xx.xx.xx:6443 --token qzpag0.9to4x04asdd383o \\   
--discovery-token-ca-cert-hash sha256:21611a589d89ad6218e7154asda5sda6e0bf78657dbeb9e10a80fd

2、通过公网加入：

• 安装 pod 网络附加组件 flannel

flannel Github地址：https://github.com/flannel-io/flannel

Kubernetes v1.17及以上 使用以下命令安装，只在Master中执行即可 flannel：

kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

• 配置 iptables 转发 IP ，使云服务器网络互通

由于初始化时删除了 --apiserver-advertise-address 参数，返回的节点加入集群命令为内网IP，但几个云服务器内网不互通，所以我们需要使用 iptables 进行 IP 转发，将主节点公网IP转发至内网IP，由于node节点加入集群的命令是内网IP，因此还需要配置 node 节点将主节点的内网IP转发至主节点的公网IP。

# 在主节点 master
sudo iptables -t nat -A OUTPUT -d <主节点公网IP> -j DNAT --to-destination <主节点私有IP>

# 在 node 节点上
sudo iptables -t nat -A OUTPUT -d <主节点私有IP> -j DNAT --to-destination <主节点公网IP>

• 执行命令：此时的xx.xx.xx.xx为公网ip

kubeadm join xx.xx.xx.xx:6443 --token qzpag0.9to4x04asdd383o \\    
 --discovery-token-ca-cert-hash sha256:21611a589d89ad6218e7154asda5sda6e0bf78657dbeb9e10a80fd

4、问题解决：

1、节点状态为：NotReady

查看错误日志：

journalctl -f -u kubelet

—若错误为：cni config uninitialized

sudo mkdir -p /etc/cni/net.d
sudo cat > /etc/cni/net.d/10-flannel.conflist <<EOF
{
    "name": "cbr0",
    "plugins": [
        {
            "type": "flannel",
            "delegate": {
                "hairpinMode": true,
                "isDefaultGateway": true
            }
        },
        {
            "type": "portmap",
            "capabilities": {
                "portMappings": true
            }
        }
    ]
}
EOF

2、从节点join 时发生错误：

[ERROR FileContent--proc-sys-net-bridge-bridge-nf-call-iptables]: /proc/sys/net/bridge/bridge-nf-call-iptables 
contents are not set to 1
[preflight] If you know what you are doing, you can make a check non-fatal with `--ignore-preflight-errors=...`

解决：

echo “1”>/proc/sys/net/bridge/bridge-nf-call-iptables

echo “1”>/proc/sys/net/bridge/bridge-nf-call-ip6tables