k8s学习-k8s初识与Centos下集群安装

Posted 2022-05-02 lady_killer9

目录

• 什么是k8s？
• 为什么选择k8s？
• K8s概念
• K8s架构
• 环境
• • 安装一些之后用到的软件
  • firewalld
  • iptables
  • selinux
  • swap
  • 调整时区
  • 网桥等内核参数
  • 开启IPVS
• Container Runtime（Docker CE/containerd/CRI-O）
• • Docker CE安装
• kubeadm/kops/Kubespray
• • iptable设置
  • kubeadm&&kubelet&&kubectl
• 镜像准备
• • 查看需要的镜像
  • 拉取镜像
  • • 方式一
    • 方式二
• Master节点初始化
• • 初始化集群
  • CNI网络插件(calico、flannel、canal、waeve)
• Node节点加入
• 参考

---

什么是k8s？

Kubernetes 是一个可移植的、可扩展的开源平台，用于管理容器化的工作负载和服务，可促进声明式配置和自动化。

为什么选择k8s？

Kubernetes 为你提供：

• 服务发现和负载均衡
  Kubernetes 可以使用 DNS 名称或自己的 IP 地址公开容器，如果进入容器的流量很大， Kubernetes 可以负载均衡并分配网络流量，从而使部署稳定。
• 存储编排
  Kubernetes 允许你自动挂载你选择的存储系统，例如本地存储、公共云提供商等。
• 自动部署和回滚
  你可以使用 Kubernetes 描述已部署容器的所需状态，它可以以受控的速率将实际状态 更改为期望状态。例如，你可以自动化 Kubernetes 来为你的部署创建新容器， 删除现有容器并将它们的所有资源用于新容器。
• 自动完成装箱计算
  Kubernetes 允许你指定每个容器所需 CPU 和内存（RAM）。 当容器指定了资源请求时，Kubernetes 可以做出更好的决策来管理容器的资源。
• 自我修复
  Kubernetes 重新启动失败的容器、替换容器、杀死不响应用户定义的 运行状况检查的容器，并且在准备好服务之前不将其通告给客户端。
• 密钥与配置管理
  Kubernetes 允许你存储和管理敏感信息，例如密码、OAuth 令牌和 ssh 密钥。 你可以在不重建容器镜像的情况下部署和更新密钥和应用程序配置，也无需在堆栈配置中暴露密钥。

K8s概念

• Namespace：命令空间，相当于把一个集群虚拟成多个集群，部分资源具有隔离性
• Pod：K8s最小单元，可以简单理解为一个、多个或一组容器的集合。
• Deployment：无状态应用控制器，可以随意重启的服务等，例如，可放置html5文件
• StatefulSet：有状态应用控制器，提供固定标识符，可放置redis集群等
• DaemonSet：守护进程控制器
• Service：逻辑上的一组Pod，用于集群服务通信
• Ingress：集群服务入口，通过域名发布服务，代替经常变化的ip
• ConfigMap：K8s配置管理，实现配置与应用分离
• Secret:K8s：加密数据管理

K8s架构

• APIServer：集群的控制中枢，提供集群中各个模块之前的数据交换
• Scheduler：调度中心，主要是通过调度算法将Pod分配到最佳的节点
• ControllerManager：集群状态管理器，保证Pod或其他资源达到期望值
• Etcd：K8s数据库Kubelet：管理节点上的Pod，同时负责上报节点和节点上面Pod的状态
• Kube-Proxy:负责各Pod之间的通信和负载均衡，将流量分发到后端正确的机器上
• Docker：K8s Runtime负责对容器的管理 CoreDNS：用于K8s内部Service解析
• Kubectl：K8s客户端工具
• Calico：CNI网络插件，负责给每个Pod分配一个不会重复的IP，并提供路由功能

其中，Calico是博主使用的，还有其他的插件。接下来进行安装。

注意：Master节点初始化之前的命令，都是在三个节点上均运行。Master节点初始化一节只在Master节点运行，Node节点添加仅在Node节点运行。

环境

使用的软件

软件	版本
Xshell	7
VMWare	12Pro

集群配置

主机名	操作系统	IP	CPU	MEM	角色
k8s-master01	CentOS 7	10.28.164.3	2	4GB	master
k8s-node01	CentOS 7	10.28.164.20	2	2GB	node
k8s-node02	CentOS 7	10.28.164.21	2	2GB	node

主机名、网络、静态IP设置等请参考：Linux-Centos7学习笔记

安装一些之后用到的软件

yum install -y yum-utils conntrack ntpdate ntp ipvsadm ipset jq sysstat libseccomp

firewalld

关闭firewalld

systemctl stop firewalld && systemctl disable firewalld

结果

在三个节点均运行，可以使用XShell的工具，发送到所有会话。

iptables

安装iptables并设置空规则

yum -y install iptables-services && systemctl start iptables && systemctl enable iptables && iptables -F && service iptables save

结果

selinux

关闭selinux

setenforce 0 && sed -i 's/^SELINUX=.*/SELINUX=disabled/' /etc/selinux/config

结果

swap

关闭swap分区交换

swapoff -a && sed -i '/ swap / s/^\\(.*\\)$/#\\1/g' /etc/fstab

结果

调整时区

设置时区为上海

# 设置系统时区为 中国/上海
timedatectl set-timezone Asia/Shanghai
# 将当前的UTC时间写入硬件时钟 
timedatectl set-local-rtc 0
#重启依赖于系统时间的服务 
systemctl restart rsyslog
systemctl restart crond

检查日期时间

date

网桥等内核参数

加载br_netfilter

modprobe br_netfilter
lsmod | grep br_netfilter

文件写入

cat > /etc/sysctl.d/k8s.conf <<EOF
net.bridge.bridge-nf-call-iptables=1
net.bridge.bridge-nf-call-ip6tables=1
net.ipv4.ip_forward=1
net.ipv4.tcp_tw_recycle=0
vm.swappiness=0 # 禁止使用swap空间，只有当系统00M时才允许使用它
vm.overcommit_memory=1 # 不检查物理内存是否够用
vm.panic_on_oom=0 # 开启 00M
fs.inotify.max_user_instances=8192
fs.inotify.max_user_watches=1048576
fs.file-max=52786963
fs.nr_open=52706963
net.ipv6.conf.all.disable_ipv6=1
net.netfilter.nf_conntrack_max=2310720
EOF

应用文件

sysctl -p /etc/sysctl.d/k8s.conf

结果

开启IPVS

cat > /etc/sysconfig/modules/ipvs.modules <<EOF
#！/bin/bash
modprobe -- ip_vs
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr
modprobe -- ip_vs_sh
modprobe -- nf_conntrack_ipv4
EOF

chmod 755 /etc/sysconfig/modules/ipvs.modules && bash /etc/sysconfig/modules/ipvs.modules && lsmod | grep -e ip_vs -e nf_conntrack_ipv4

环境调整完毕，机器重启一下！！！

Container Runtime（Docker CE/containerd/CRI-O）

这里选择 Docker CE

Docker CE安装

注意配置国内源，这里使用的阿里云

yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

yum update -y && yum install -y docker-ce

## 创建 /etc/docker 目录
mkdir /etc/docker

# 配置daemon.
cat > /etc/docker/daemon.json <<EOF

  "exec-opts":["native.cgroupdriver=systemd"],
  "log-driver":"json-file",
  "log-opts":
    "max-size": "100m"
    

EOF
mkdir -p /etc/systemd/system/docker.service.d 
#重启docker服务
systemctl daemon-reload && systemctl restart docker && systemctl enable docker

结果

kubeadm/kops/Kubespray

安装集群的方式，这里选择kubeadm

iptable设置

cat <<EOF | sudo tee /etc/modules-load.d/k8s.conf
br_netfilter
EOF

cat <<EOF | sudo tee /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF
sudo sysctl --system

kubeadm&&kubelet&&kubectl

配置国内源，这里选择的阿里云

cat <<EOF | sudo tee /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
exclude=kubelet kubeadm kubectl
EOF

查看

yum list | grep kubeadm

目前最新的是1.23，不带版本的话就是最新的，博主安装的之前的版本，推荐改为1.17.17。

yum install -y kubeadm-1.17.3-0 kubelet-1.17.3-0 kubectl-1.17.3-0

结果

镜像准备

查看需要的镜像

查看需要的镜像

 kubeadm config images list

结果
可以看到repository是k8s.gcr.io，没有科学上网是拉不下来的

拉取镜像

方式一

从阿里云下载，使用选项标记repository改变，就可以找到镜像了

kubeadm config images pull \\
--image-repository registry.cn-hangzhou.aliyuncs.com/google_containers

方式二

也有人自己下载，然后打tag，然后untag之前的

docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/kube-scheduler:v1.17.17
docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/kube-proxy:v1.17.17
docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/kube-controller-manager:v1.17.17
docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/kube-apiserver:v1.17.17
docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/coredns:1.6.5
docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/etcd:3.4.3-0
docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/pause:3.1

docker tag registry.cn-hangzhou.aliyuncs.com/google_containers/kube-scheduler:v1.17.17 k8s.gcr.io/kube-scheduler:v1.17.17
docker tag registry.cn-hangzhou.aliyuncs.com/google_containers/kube-proxy:v1.17.17 k8s.gcr.io/kube-proxy:v1.17.17
docker tag registry.cn-hangzhou.aliyuncs.com/google_containers/kube-controller-manager:v1.17.17 k8s.gcr.io/kube-controller-manager:v1.17.17
docker tag registry.cn-hangzhou.aliyuncs.com/google_containers/kube-apiserver:v1.17.17 k8s.gcr.io/kube-apiserver:v1.17.17
docker tag registry.cn-hangzhou.aliyuncs.com/google_containers/coredns:1.6.5 k8s.gcr.io/coredns:1.6.5
docker tag registry.cn-hangzhou.aliyuncs.com/google_containers/etcd:3.4.3-0 k8s.gcr.io/etcd:3.4.3-0
docker tag registry.cn-hangzhou.aliyuncs.com/google_containers/pause:3.1 k8s.gcr.io/pause:3.1

docker rmi registry.cn-hangzhou.aliyuncs.com/google_containers/kube-scheduler:v1.17.17
docker rmi registry.cn-hangzhou.aliyuncs.com/google_containers/kube-proxy:v1.17.17
docker rmi registry.cn-hangzhou.aliyuncs.com/google_containers/kube-controller-manager:v1.17.17
docker rmi registry.cn-hangzhou.aliyuncs.com/google_containers/kube-apiserver:v1.17.17
docker rmi registry.cn-hangzhou.aliyuncs.com/google_containers/coredns:1.6.5
docker rmi registry.cn-hangzhou.aliyuncs.com/google_containers/etcd:3.4.3-0
docker rmi registry.cn-hangzhou.aliyuncs.com/google_containers/pause:3.1

拉取完对比一下

Master节点初始化

初始化集群

kubeadm init --pod-network-cidr=172.16.0.0/16 --apiserver-advertise-address=10.28.144.3 | tee kubeadm-init.log

CNI网络插件(calico、flannel、canal、waeve)

这里选择的calico，calico资源清单文件下载

wget https://docs.projectcalico.org/v3.18/manifests/calico.yaml

里面用到了4个镜像， 需要科学上网才能下载，无法科学上网的小伙伴可以关注公众号，回复 calico 获取蓝奏云下载地址，不用登录即可下载。

修改为init时的网段，之后

kubectl create -f calico.yaml

查看状态

kubectl get po -n kube-system

Node节点加入

init时候的命令在其余两个节点运行一下即可

参考

安装docker-ce

安装kubeadm

kubeadm创建集群

github-calico

calico-quickstart