使用kubeadm部署K8S集群

Posted 2022-11-22

一.部署前准备

1.将CentOS7的Linux内核便捷地升级到最新版

#导入ELRepo仓库的公钥
rpm --import https://www.elrepo.org/RPM-GPG-KEY-elrepo.org
#为yum安装ELRepo仓库
rpm -Uvh http://www.elrepo.org/elrepo-release-7.0-3.el7.elrepo.noarch.rpm
#查看可用版本
yum --disablerepo="*" --enablerepo="elrepo-kernel" list available
#安装最新内核
yum --enablerepo=elrepo-kernel install kernel-ml
# 查看当前可用内核
sudo awk -F\\ $1=="menuentry " print i++ " : " $2 /etc/grub2.cfg

2.设置时间同步

可以和阿里时钟源同步

3.设置hostname

4.设置hosts文件

5.关闭防火墙

# 关闭防火墙
systemctl stop firewalld
# 关闭防火墙开机启动
systemctl disable firewall

6.关闭selinux

临时关闭：输入命令setenforce 0。但重启系统后还会开启。
永久关闭：输入命令vi /etc/selinux/config，将SELINUX=enforcing改为SELINUX=disabled，然后保存退出。

7.关闭swap

# 临时
swapoff -a 
# 永久
sed -ri s/.*swap.*/#&/ /etc/fstab   

二.安装docker

yum install -y yum-utils
# 添加yum源,这里添加的是阿里云的yum源
yum-config-manager  --add-repo  http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
# 查看docker版本
yum list docker-ce --showduplicates | sort -r
# 您可以选择其他版本
yum  -y install docker-ce-20.10.12-3.el7
# 设置国内镜像加速，你也可以用自己的仓库镜像，这里是我申请的阿里云个人加速镜像
mkdir -p /etc/docker
tee /etc/docker/daemon.json <<-EOF

  "registry-mirrors": ["https://fuchp8pk.mirror.aliyuncs.com"]

EOF
# 导入镜像设置
systemctl daemon-reload
# 启动docker
systemctl restart docker
# 设置docker开机启动
systemctl enable docker

三.添加阿里yum源

cat > /etc/yum.repos.d/kubernetes.repo << EOF
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

四.安装kubeadm和kubelet

yum install -y kubelet-1.21.3 kubeadm-1.21.3 
systemctl enable kubelet

五.部署k8s master

kubeadm init \\
  --apiserver-advertise-address=192.168.131.249 \\
  --image-repository registry.aliyuncs.com/google_containers \\
  --kubernetes-version v1.21.3 \\
  --service-cidr=10.96.0.0/12 \\
  --pod-network-cidr=10.244.0.0/16 \\
  --ignore-preflight-errors=all

参数说明
apiserver-advertise-address 集群通告地址
image-repository 由于默认拉取镜像地址k8s.gcr.io国内无法访问，这里指定阿里云镜像仓库地址
kubernetes-version K8s版本，与上面安装的一致
service-cidr 集群内部虚拟网络，Pod统一访问入口
pod-network-cidr Pod网络，与下面部署的CNI网络组件yaml中保持一致
初始化完成后，最后会输出一个join命令，先记住，下面用。

可能遇到的问题
在这个过程中可能会遇到如下报错：
日志提示是kubelet启动失败。而最常见的可能是docker和k8s的cgroupDriver不一致造成的。
先核实推测是否正确，运行 docker info|grep Driver 和 cat /var/lib/kubelet/config.yaml |grep cgroupDriver 对比两者的结果。如果是下图这样，那就证实了推测，否则，您需要找其他原因。
如果是因为cgroupDriver 不一致造成的，我们一般是修改docker。方法就是运行 vi /etc/docker/daemon.json 以修改docker原有的配置文件，在其中加入一行， "exec-opts": ["native.cgroupdriver=systemd"]，但请主要补齐必要的英文逗号，以保证json格式正确。如图所示：
然后读取新的配置文件，重启docker就可以解决这个问题
# 导入镜像设置
systemctl daemon-reload
# 重启docker
systemctl restart docker

六.加入kubernetes node

在Node节点（示例中为192.168.130.172，192.168.130.172）上执行。
向集群添加新节点，执行之前记录的kubeadm join命令：
kubeadm join 192.168.10.2:6443 --token pc0jor.nqo03lnzmxfit6kb \\
        --discovery-token-ca-cert-hash sha256:5ea23c4838c0499575e4396c2a487e6b4acfc13412bdcc17afec300de0e33643
默认token有效期为24小时，当过期之后，该token就不可用了。这时就需要重新创建token，可以直接使用命令快捷生成：
kubeadm token create --print-join-command

七.配置kubectl

实际上，kubectl可以部署到任意计算机上，只需要这台计算机和master节点联网，即使是Windows系统也是可以的。将文件放入指定地址就可以完成配置。这里我们就将kubectl部署在master节点。
拷贝kubectl使用的连接k8s认证文件到默认路径：
#通常在安装kubeadm，kubelet时会自动安装kubectl，但每个版本
yum install -y kubectl-1.23.3
#下列命令也会在kubeadm init命令执行成功后提示。
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

输入get node都是not ready的状态 因为没有安装网络组件

八.部署容器网络

Calico是一个纯三层的数据中心网络方案，是目前Kubernetes主流的网络方案。
输入命令wget https://docs.projectcalico.org/manifests/calico.yaml，以下载yaml。
下载完后，需要修改字段CALICO_IPV4POOL_CIDR，与前面kubeadm init命令中的 --pod-network-cidr参数一样。
修改完后文件后，输入命令kubectl apply -f calico.yaml执行部署容器网络。稍等几分钟，然后执行kubectl get pods -n kube-system查看部署进度。等Calico Pod都Running，节点也会准备就绪。

可能会出现pengding的状态 describe看下po的情况，具体问题再解决

九.创建nginx的pod

kubectl create deployment nginx --image=nginx
kubectl expose deployment nginx --port=80 --type=NodePort
kubectl get pod,svc

十.部署dashboard

Dashboard是官方提供的一个UI，可用于基本管理K8s资源。

wget https://raw.githubusercontent.com/kubernetes/dashboard/v2.2.0/aio/deploy/recommended.yaml

默认Dashboard只能集群内部访问，您可以运行命令vi recommended.yaml修改Service类型为NodePort，方便集群外的机器访问。

kind: Service
apiVersion: v1
metadata:
  labels:
    k8s-app: kubernetes-dashboard
  name: kubernetes-dashboard
  namespace: kubernetes-dashboard
spec:
  ports:
    - port: 443
      targetPort: 8443
      nodePort: 30443
  selector:
    k8s-app: kubernetes-dashboard
  type: NodePort

kubectl apply -f recommended.yaml
kubectl get pods -n kubernetes-dashboard

待所有pod处于running的状态后，创建service account并绑定默认cluster-admin管理员集群角色：

# 创建用户
kubectl create serviceaccount dashboard-admin -n kube-system
# 用户授权
kubectl create clusterrolebinding dashboard-admin --clusterrole=cluster-admin --serviceaccount=kube-system:dashboard-admin
# 获取用户Token
kubectl describe secrets -n kube-system $(kubectl -n kube-system get secret | awk /dashboard-admin/print $1)

访问地址：https://<任意Node的IP>:30443，将上条命令产生的token复制后填入，进行登录。