K8S折磨的安装篇

Posted 2022-08-23 大忽悠爱忽悠

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了K8S折磨的安装篇相关的知识，希望对你有一定的参考价值。

K8S折磨的安装篇

Kubernetes介绍
kubernetes集群环境搭建
关于网络插件的问题

Kubernetes介绍

应用部署方式演变

在部署应用程序的方式上，主要经历了三个时代：

传统部署：互联网早期，会直接将应用程序部署在物理机上

优点：简单，不需要其它技术的参与

缺点：不能为应用程序定义资源使用边界，很难合理地分配计算资源，而且程序之间容易产生影响
虚拟化部署：可以在一台物理机上运行多个虚拟机，每个虚拟机都是独立的一个环境

优点：程序环境不会相互产生影响，提供了一定程度的安全性

缺点：增加了操作系统，浪费了部分资源
容器化部署：与虚拟化类似，但是共享了操作系统

优点：

可以保证每个容器拥有自己的文件系统、CPU、内存、进程空间等

运行应用程序所需要的资源都被容器包装，并和底层基础架构解耦

容器化的应用程序可以跨云服务商、跨Linux操作系统发行版进行部署

容器化部署方式给带来很多的便利，但是也会出现一些问题，比如说：

一个容器故障停机了，怎么样让另外一个容器立刻启动去替补停机的容器
当并发访问量变大的时候，怎么样做到横向扩展容器数量

这些容器管理的问题统称为容器编排问题，为了解决这些容器编排问题，就产生了一些容器编排的软件：

Swarm：Docker自己的容器编排工具
Mesos：Apache的一个资源统一管控的工具，需要和Marathon结合使用
Kubernetes：Google开源的的容器编排工具

kubernetes简介

kubernetes，是一个全新的基于容器技术的分布式架构领先方案，是谷歌严格保密十几年的秘密武器----Borg系统的一个开源版本，于2014年9月发布第一个版本，2015年7月发布第一个正式版本。

kubernetes的本质是一组服务器集群，它可以在集群的每个节点上运行特定的程序，来对节点中的容器进行管理。目的是实现资源管理的自动化，主要提供了如下的主要功能：

自我修复：一旦某一个容器崩溃，能够在1秒中左右迅速启动新的容器
弹性伸缩：可以根据需要，自动对集群中正在运行的容器数量进行调整
服务发现：服务可以通过自动发现的形式找到它所依赖的服务
负载均衡：如果一个服务起动了多个容器，能够自动实现请求的负载均衡
版本回退：如果发现新发布的程序版本有问题，可以立即回退到原来的版本
存储编排：可以根据容器自身的需求自动创建存储卷

kubernetes组件

一个kubernetes集群主要是由控制节点(master),工作节点(node)构成，每个节点上都会安装不同的组件。

master：集群的控制平面，负责集群的决策 ( 管理 )

ApiServer : 资源操作的唯一入口，接收用户输入的命令，提供认证、授权、API注册和发现等机制

Scheduler : 负责集群资源调度，按照预定的调度策略将Pod调度到相应的node节点上

ControllerManager : 负责维护集群的状态，比如程序部署安排、故障检测、自动扩展、滚动更新等

Etcd ：负责存储集群中各种资源对象的信息

node：集群的数据平面，负责为容器提供运行环境 ( 干活 )

Kubelet : 负责维护容器的生命周期，即通过控制docker，来创建、更新、销毁容器

KubeProxy : 负责提供集群内部的服务发现和负载均衡

Docker : 负责节点上容器的各种操作

下面，以部署一个nginx服务来说明kubernetes系统各个组件调用关系：

首先要明确，一旦kubernetes环境启动之后，master和node都会将自身的信息存储到etcd数据库中
一个nginx服务的安装请求会首先被发送到master节点的apiServer组件
apiServer组件会调用scheduler组件来决定到底应该把这个服务安装到哪个node节点上

在此时，它会从etcd中读取各个node节点的信息，然后按照一定的算法进行选择，并将结果告知apiServer
apiServer调用controller-manager去调度Node节点安装nginx服务
kubelet接收到指令后，会通知docker，然后由docker来启动一个nginx的pod

pod是kubernetes的最小操作单元，容器必须跑在pod中至此，
一个nginx服务就运行了，如果需要访问nginx，就需要通过kube-proxy来对pod产生访问的代理

这样，外界用户就可以访问集群中的nginx服务了

kubernetes概念

Master：集群控制节点，每个集群需要至少一个master节点负责集群的管控

Node：工作负载节点，由master分配容器到这些node工作节点上，然后node节点上的docker负责容器的运行

Pod：kubernetes的最小控制单元，容器都是运行在pod中的，一个pod中可以有1个或者多个容器

Controller：控制器，通过它来实现对pod的管理，比如启动pod、停止pod、伸缩pod的数量等等

Service：pod对外服务的统一入口，下面可以维护着同一类的多个pod

Label：标签，用于对pod进行分类，同一类pod会拥有相同的标签

NameSpace：命名空间，用来隔离pod的运行环境

kubernetes集群环境搭建

集群类型

● Kubernetes集群大致分为两类：一主多从和多主多从。
● 一主多从：一个Master节点和多台Node节点，搭建简单，但是有单机故障风险，适合用于测试环境。
● 多主多从：多台Master和多台Node节点，搭建麻烦，安全性高，适合用于生产环境。

为了测试方便，本次搭建的是一主多从类型的集群。

安装方式

● kubernetes有多种部署方式，目前主流的方式有kubeadm、minikube、二进制包。

● ① minikube：一个用于快速搭建单节点的kubernetes工具。
● ② kubeadm：一个用于快速搭建kubernetes集群的工具。
● ③ 二进制包：从官网上下载每个组件的二进制包，依次去安装，此方式对于理解kubernetes组件更加有效。

● 我们需要安装kubernetes的集群环境，但是又不想过于麻烦，所以选择kubeadm方式。

主机规划

角色	IP地址	操作系统	配置
Master	192.168.xxx,xxx	CentOS7.8+，基础设施服务器	2核CPU，2G内存，50G硬盘
Node1	192.168.xxx,xxx	CentOS7.8+，基础设施服务器	2核CPU，2G内存，50G硬盘
Node2	192.168.xxx,xxx	CentOS7.8+，基础设施服务器	2核CPU，2G内存，50G硬盘

准备三台虚拟机或者云服务器。

环境搭建

前言

本次环境搭建需要三台CentOS服务器（一主二从），然后在每台服务器中分别安装Docker（18.06.3）、kubeadm（1.18.0）、kubectl（1.18.0）和kubelet（1.18.0）。

没有特殊说明，就是三台机器都需要执行。

环境初始化

检查操作系统的版本

检查操作系统的版本（要求操作系统的版本至少在7.5以上）：

centos:
cat /etc/redhat-release
ubuntu:
cat /etc/issue

关闭防火墙和禁止防火墙开机启动

关闭防火墙：

systemctl stop firewalld

禁止防火墙开机启动：

systemctl disable firewalld

设置主机名

设置主机名

hostnamectl set-hostname <hostname>

因为k8s内部通信会通过主机名访问，因此给每台主机指定易懂的主机名可以方便我们后期使用

就像服务发现是通过注册上去的服务名进行路由的一样，类似域名功能

三台主机的主机名可以分别设置为如下示例:

hostnamectl set-hostname k8s-master
hostnamectl set-hostname k8s-node1
hostnamectl set-hostname k8s-node2

主机名解析

为了方便后面集群节点间的直接调用，需要配置一下主机名解析，企业中推荐使用内部的DNS服务器。

echo   "192.168.112.130 k8s-master  192.168.112.129 k8s-node1 192.168.112.134 k8s-node2 " >> /etc/hosts

时间同步

kubernetes要求集群中的节点时间必须精确一致，所以在每个节点上添加时间同步：

yum install ntpdate -y

ntpdate time.windows.com

关闭selinux

查看selinux是否开启：

getenforce

永久关闭selinux，需要重启：

sed -i 's/enforcing/disabled/' /etc/selinux/config

临时关闭selinux，重启之后，无效：

setenforce 0

关闭swap分区

永久关闭swap分区，需要重启：

sed -ri 's/.*swap.*/#&/' /etc/fstab

临时关闭swap分区，重启之后，无效：：

swapoff -a

将桥接的IPv4流量传递到iptables的链

在每个节点上将桥接的IPv4流量传递到iptables的链：

echo
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1
vm.swappiness = 0
>> /etc/sysctl.d/k8s.conf

# 加载br_netfilter模块
modprobe br_netfilter

# 查看是否加载
lsmod | grep br_netfilter

# 生效
sysctl --system

开启ipvs

● 在kubernetes中service有两种代理模型，一种是基于iptables，另一种是基于ipvs的。ipvs的性能要高于iptables的，但是如果要使用它，需要手动载入ipvs模块。

● 在每个节点安装ipset和ipvsadm：

yum -y install ipset ipvsadm

在所有节点执行如下脚本：

echo 
"#!/bin/bash
modprobe -- ip_vs
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr
modprobe -- ip_vs_sh
modprobe -- nf_conntrack_ipv4 "
>> /etc/sysconfig/modules/ipvs.modules

授权、运行、检查是否加载：

chmod 755 /etc/sysconfig/modules/ipvs.modules && bash /etc/sysconfig/modules/ipvs.modules && lsmod | grep -e ip_vs -e nf_conntrack_ipv4

检查是否加载：

lsmod | grep -e ipvs -e nf_conntrack_ipv4

重启三台机器

重启三台Linux机器：

reboot

每个节点安装Docker、kubeadm、kubelet和kubectl

安装Docker

切换镜像源

wget https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo -O/etc/yum.repos.d/docker-ce.repo

查看镜像源中支持的docker版本

 yum list docker-ce --showduplicates

安装特定版本docker-ce

必须指定–setopt=obsoletes=0，否则yum会自动安装更高版本

 yum install --setopt=obsoletes=0 docker-ce-18.06.3.ce-3.el7 -y

添加配置文件

Docker在默认情况下使用的Cgroup Driver为cgroupfs，而kubernetes推荐使用systemd来代替cgroupfs

mkdir /etc/docker

sudo tee /etc/docker/daemon.json <<-'EOF'

  "exec-opts": ["native.cgroupdriver=systemd"],	
  "registry-mirrors": ["https://du3ia00u.mirror.aliyuncs.com"],	
  "live-restore": true,
  "log-driver":"json-file",
  "log-opts": "max-size":"500m", "max-file":"3",
  "storage-driver": "overlay2"

EOF

启动docker

# 启动docker
systemctl start docker
# 开机启动
systemctl enable docker

安装Kubernetes组件

由于Kubernetes的镜像源在国外，速度比较慢，这里切换成国内的镜像源

编辑/etc/yum.repos.d/kubernetes.repo，添加下面的配置

echo  
"
[kubernetes]
name=Kubernetes
baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg
http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
"
>> /etc/yum.repos.d/kubernetes.repo

安装kubeadm,kubelet和kubectl

yum install kubeadm-1.17.4-0 kubelet-1.17.4-0 kubectl-1.17.4-0 -y

配置kubelet的cgroup

# 编辑/etc/sysconfig/kubelet，添加下面的配置
KUBELET_CGROUP_ARGS="--cgroup-driver=systemd"
KUBE_PROXY_MODE="ipvs"

设置kubelet开机自启

systemctl enable kubelet

初始化集群

在master上操作：

# 由于默认拉取镜像地址 k8s.gcr.io 国内无法访问，这里指定阿里云镜像仓库地址
# apiserver-advertise-address 需要写自己的master主机的ip
kubeadm init \\
--apiserver-advertise-address=192.168.112.130 \\
--image-repository registry.aliyuncs.com/google_containers \\
--kubernetes-version=v1.17.7 \\
--pod-network-cidr=10.244.0.0/16 \\
--service-cidr=10.96.0.0/12

#使用 kubectl 工具
 mkdir -p $HOME/.kube
 sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
 sudo chown $(id -u):$(id -g) $HOME/.kube/config

然后我们需要将node 节点加入集群中，在 node 服务器上执行红框的命令加入到master

注意: 默认的token有效期为2小时，当过期之后，该token就不能用了，这时可以使用如下的命令创建token：

kubeadm token create --print-join-command

# 生成一个永不过期的token
kubeadm token create --ttl 0 --print-join-command

在主节点上查询当前集群中有哪些节点:

kubectl get nodes

但是我们这个时候查看集群状态都是为NotReady，这是因为还没有配置网络插件

网络插件安装

kubernetes支持多种网络插件，比如flannel、calico、canal等等，任选一种即可，本次选择flannel。

wget https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

修改 quay.io 为 quay-mirror.qiniu.com 因为国内 quay.io 不好访问到

如果下载不到的报错连接失败什么的

可以使用本人提供的，当然，你也可以安装calico，推荐安装calico。

使用配置文件启动fannel

kubectl apply -f kube-flannel.yml

查看部署CNI网络插件进度：

kubectl get pods -n kube-system

稍等片刻，再次查看集群状态:

kubectl get nodes

查看集群健康状况：

kubectl get cs

kubectl cluster-info

服务部署

前言

● 在Kubernetes集群中部署一个Nginx程序，测试下集群是否正常工作。

步骤

部署Nginx：

kubectl create deployment nginx --image=nginx:1.14-alpine

暴露端口：

kubectl expose deployment nginx --port=80 --type=NodePort

查看服务状态：

kubectl get pods,svc

在防火墙关闭或者31661端口开放的情况下，浏览器直接访问该端口应该就可以看到nginx首页

任意节点均可通过ip加端口的方式访问，即视为测试成功，否则说明存在问题，可优先考虑是否为网络插件问题。

关于网络插件的问题

如果安装的是calico网络插件，并且安装后发现对应的calico/node is not ready，可以先查看对应node的日志信息，如果是关于：

#查看对应node的日志信息
kubectl describe pods calico-node-4n8mg -n kube-system
#日志信息输出如下:
BIRD is not ready: BGP not established with 172.19.77.23

那么解决方法如下:

官方提供的yaml文件中，ip识别策略（IPDETECTMETHOD）没有配置，即默认为first-found，这会导致一个网络异常的ip作为nodeIP被注册，从而影响node-to-node mesh。

我们可以修改成can-reach或者interface的策略，尝试连接某一个Ready的node的IP，以此选择出正确的IP。

1.修改calico.yaml配置文件，添加属性配置：
2.在master节点重新部署calico，使修改生效：

kubectl apply -f calico.yaml

3.再看下pod状态：

以上是关于K8S折磨的安装篇的主要内容，如果未能解决你的问题，请参考以下文章

K8s 从懵圈到熟练-集群伸缩原理

云原生之kubernetes实战kubernetes集群的HPA弹性伸缩

入门 - k8s伸缩应用程序

k8s弹性伸缩概念以及测试用例

28.kubernetes

企业运维实战-k8s学习笔记17.k8s集群+Prometheus监控部署基于prometheus实现k8s集群的hpa动态伸缩虚拟机部署prometheus监控