K8s进阶

Posted 码出未来_远

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了K8s进阶相关的知识,希望对你有一定的参考价值。

K8s进阶

文章目录

核心组件

HPA

Deployment支持二级控制器HPA(HorizontalPodAutoscaler,水平pod自动伸缩控制器),当用户访问流量增加时,节点上的pod不足以承载这么多访问量了,此时我们应该增加pod资源,HPA控制器就可以自动监控pod来确定需要扩展多少个pod。

service

pod是由声明周期的,一个pod有可能随时被另外一个pod给替换掉,加入它们是同一种服务,客户端是无法通过固定的手段来访问这些pod得到,因为pod本身是不固定的,无论是主机名还是ip地址随时都可能在变换。

为了尽可能的降低客户端与pod之间协调的复杂度,k8s为每一组提供同类服务的pod和其客户端之间添加了一个中间层,这个中间层是固定的,中间层就叫service。

service只要不被删除,其地址与名称都是固定的,当客户端需要在其配置文件中写上访问某个服务时,它不再需要自动发现,只需要在配置文件中写明service的名称即可,而这个service是个调度器,其不但能提供稳定的访问入口,还能做方向代理和均衡负载,当service接收到客户端的请求后,会将其代理到后端pod之上,一旦pod出现故障会立即新建立一个pod,这个新建的pod会立即被service关联上,作为service后端可用的pod之一。

客户端程序访问服务都是通过ip:端口或主机名:端口的方式来实现的。而service关联后端的pod不是靠它的ip和主机,而是靠pod的标签选择器。只要创建pod的label是统一的,无论ip和主机如何改变,其都能被service所识别。如此一来,只要pod属于标签选择器,只要其在service的管理范围之内,则其就会被关联到service中,当这个动态的pod关联到service中后,再进行动态的探测此pod的ip地址、端口,将其作为自己后端可调度的服务器主机对象,因此,客户端得到请求发送到service,然后由service代理到后端真是的pod中的容器进行响应。

service不是一个程序,也不是一个组件,它只是一个iptables的dnat规则,service作为k8s的对象,有其自己的名称,而service的名称相当于服务名,而这个名称可以被解析。

AddOns附件

dns pod

安装完k8s后第一件事就需要在k8s集群上部署一个dns pod,以确保个service的名称能够被解析。可以动态改变,包括动态创建、删除、修改。

比如把service名称改了,dns pod会自动触发,将dns解析记录中的名称也改掉,假如我们手动吧service的ip地址改了,同样会自动触发,将dns服务中的解析记录给改掉。如此一来,客户端去访问pod资源的时候可以直接访问service的名称,然后由集群中专用的dns服务来负责解析。

这种pod是k8s自身服务就需要用到的pod,所以我们把它称为基础性的系统架构级的pod对象,而且它们也被称为集群附件。

pod容器分类

1Infrastructure Container:基础容器
•维护整个Pod网络空间

2InitContainers:初始化容器
•先于业务容器开始执行

3Containers:业务容器
•并行启动

控制器类型以及功能

k8s的控制器一共有如下几种:

ReplicationController(已弃用)和ReplicaSet
Deployment
DaemonSet
StatefulSet
Job/CronJob
Horizontal Pod Autoscaling
下面对每种进行详细介绍

ReplicationController和ReplicaSet
RC和RS的作用一致,都是确保pod的副本数量维持在期望水平,但是RS可以根据容器的label进行集合式的选择,这个RC是做不到的,所以RC被RS淘汰了。

Deployment
Deployment为pod和RS提供一个声明式(declarative)方法,替代以前的RC来管理应用。

命令式编程:一步步告诉程序应该执行的命令
声明式编程:只声明一个结果,并不给出具体步骤,然后让计算机去实现

典型的应用场景如下:

定义Deployment来创建pod和RS
滚动升级和回滚应用
通过创建新的RS在下面创建pod,并停止旧RS来进行升级。重新启动旧RS而停止新RS来达到回滚的目的。
扩容和缩容
暂停和继续Deployment
在可选RS和Deployment的情况下,优先选择Deployment。

DaemonSet
DaemonSet确保全部或一些Node上运行一个pod的副本。当有Node加入集群时,也会为该Node创建一个pod副本。

典型的应用场景如下:

运行集群存储的Daemon,例如glusterd,ceph
运行日志收集Daemon,例如fluentd,logstash
运行监控的Daemon,例如Prometheus Node Exporter,collectd等
Job
在pod里面部署一些脚本单次运行,并确保这些pod成功结束。

CronJob
类似linux的Cron,用来在给定时间点或者是周期循环执行任务。

StatefulSet
StatefulSet为pod提供了唯一的标识,可以保证部署和scale的顺序。区别于RS的无状态服务,StatefulSet是为了解决有状态服务而创建的。典型应用场景如下:

稳定的持久化存储,即pod重新调度后还是能访问到完全相同的存储
稳定的网络标识,即pod重新调度后其podname和hostname不变
有序部署,有序扩展,从0到N-1,通过前面说的Init容器来实现
有序收缩,有序删除,从N-1到0,后启动的pod先停止,避免报错
HPA
HPA有点像上面这些控制器的附属品,通过一些指标,例如cpu,去控制之前提到的控制器达到自动扩缩容的目的。HPA不直接控制pod。

实际操作
以下所有yaml文件都托管在Github:
https://github.com/Victor2Code/centos-k8s-init/tree/master/test%20yaml

RS实际操作
和前面生成pod一样,rs也是通过yaml文件来定义。所有字段的详细解释可以通过kubectl explain rs或者kubectl explain ReplicaSet来查看。

部署Kubernetes

准备环境

角色IP
master192.168.207.131
node1192.168.207.137
node2192.168.207.136
[root@master ~]# systemctl disable --now firewalld
[root@master ~]# sed -i 's/enforcing/disabled/' /etc/selinux/config
[root@master ~]# vim /etc/fstab
[root@master ~]# hostnamectl set-hostname master.example.com
[root@master ~]# cat >> /etc/hosts << EOF
192.168.207.131 master master.example.com
192.168.207.137 node1 node1.example.com
192.168.207.136 node2 node2.example.com
EOF
[root@master ~]# cat > /etc/sysctl.d/k8s.conf << EOF
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF
[root@master ~]#  sysctl --system  
[root@master ~]# yum -y install chrony
[root@master ~]# systemctl enable --now chronyd
[root@master ~]# ssh-keygen -t rsa
[root@master ~]# ssh-copy-id master
[root@master ~]# ssh-copy-id node1
[root@master ~]# ssh-copy-id node2
[root@master ~]# reboot

所有节点安装Docker/kubeadm/kubelet

先安装Docker。

安装Docker

[root@master ~]# cat > /etc/yum.repos.d/docker-ce.repo << EOF
[Docker-ce]
name=Docker-ce
baseurl=https://mirrors.aliyun.com/docker-ce/linux/centos/8/x86_64/stable/
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://mirrors.aliyun.com/docker-ce/linux/centos/gpg
EOF
[root@master ~]# yum -y install docker-ce
[root@master ~]# systemctl enable --now docker
[root@master ~]# cat > /etc/docker/daemon.json << EOF
 
"registry-mirrors": ["https://kmny1apu.mirror.aliyuncs.com"], 
"exec-opts": ["native.cgroupdriver=systemd"],
"log-driver": "json-file", 
"log-opts":  "max-size": "100m" 
, 
"storage-driver": "overlay2"

EOF

添加kubernetes阿⾥云YUM软件源

[root@master ~]# cat > /etc/yum.repos.d/kubernetes.repo << EOF
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

安装kubeadm,kubelet和kubectl

指定版本号部署:

[root@master ~]# yum install -y kubelet-1.20.0 kubeadm-1.20.0 kubectl-1.20.0
[root@master ~]# systemctl enable kubelet

部署Kubernetes

在master执行。

[root@master ~]# kubeadm init \\
 --apiserver-advertise-address=192.168.207.131 \\
 --image-repository registry.aliyuncs.com/google_containers \\
 --kubernetes-version v1.20.0 \\
 --service-cidr=10.96.0.0/12 \\
 --pod-network-cidr=10.244.0.0/16
 
 # 记录下面的这些东西,后面会用到
 kubeadm join 192.168.207.131:6443 --token dt63lv.vas53zh1hhurw1qz \\
    --discovery-token-ca-cert-hash sha256:041af3cde7a184783d7ac5b01cf39ceddad21508c99b746dc3819b2fccb34948

由于默认拉取镜像地址k8s.gcr.io国内⽆法访问,这⾥指定阿⾥云镜像仓库地址。

使⽤kubectl⼯具

[root@master ~]# mkdir -p $HOME/.kube
root@master ~]# cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
[root@master ~]# chown $(id -u):$(id -g) $HOME/.kube/config
[root@master ~]# kubectl get nodes
NAME                 STATUS     ROLES                  AGE     VERSION
master.example.com   NotReady   control-plane,master   4m49s   v1.20.0

安装Pod网络插件

kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

确保能够访问到quay.io这个registery。

加⼊Kubernetes Node

在192.168.207.137、192.168.207.136上(Node)执⾏。

向集群添加新节点,执⾏在kubeadm init输出的kubeadm join命令

kubeadm join 192.168.207.131:6443 --token dt63lv.vas53zh1hhurw1qz \\    --discovery-token-ca-cert-hash sha256:041af3cde7a184783d7ac5b01cf39ceddad21508c99b746dc3819b2fccb34948

测试Kubernetes集群

[root@master ~]# kubectl get nodes
NAME                 STATUS   ROLES                  AGE   VERSION
master.example.com   Ready    control-plane,master   17m   v1.20.0
node1.example.com    Ready    <none>                 89s   v1.20.0
node2.example.com    Ready    <none>                 82s   v1.20.0
# 在Kubernetes集群中创建⼀个pod,验证是否正常运⾏
[root@master ~]# kubectl create deployment nginx --image=nginx
deployment.apps/nginx created
[root@master ~]# kubectl expose deployment nginx --port=80 --type=NodePort
service/nginx exposed
[root@master ~]#  kubectl get pod,svc
NAME                         READY   STATUS              RESTARTS   AGE
pod/nginx-6799fc88d8-hbj7q   0/1     ContainerCreating   0          14s

NAME                 TYPE        CLUSTER-IP    EXTERNAL-IP   PORT(S)        AGE
service/kubernetes   ClusterIP   10.96.0.1     <none>        443/TCP        19m
service/nginx        NodePort    10.98.72.65   <none>        80:31040/TCP   5s

以上是关于K8s进阶的主要内容,如果未能解决你的问题,请参考以下文章

容器技术Docker K8s 20 容器服务ACK基础与进阶-存储管理

容器技术Docker K8s 26 容器服务ACK基础与进阶-监控管理

容器技术Docker K8s 25 容器服务ACK基础与进阶-监控管理

容器技术Docker K8s 24 容器服务ACK基础与进阶-日志管理

容器技术Docker K8s 23 容器服务ACK基础与进阶-日志管理

容器技术Docker K8s 32 容器服务ACK基础与进阶-弹性伸缩