Kubernetes学习笔记-了解kubernetes机理-同节点／不同节点pod通信20220723

Posted 2023-04-06 dudu妈

一、了解运行中的pod是什么

当创建一个pod是运行的是docker，可以创建一个pod容器，ssh到运行的pod工作节点，查看运行的docker容器

kubectl run nginx --image=nginx

docker ps

运行命令后，将会看到nginx容器，以及一个附加容器。附加容器没有做任何事情，附加容器名为“暂停容器”。暂停容器是一个基础容器，他唯一的目的是保存所有的命名空间。所有pod的其他用户定义容易使用pod的该基础容器的命名空间。

实际的应用容器可能会挂掉并重启，当容器重启，容器需要处于与之前相同的linux命名空间中。基础容器使这成为可能，因为它的生命周期和pod绑定，基础容器pod被调度指导被删除一直会运行。如果基础pod在这个期间被关闭，kubelet会重新创建它，以及pod的所有容器。

二、跨pod网络

每个pod有自己唯一的ip地址，可以通过一个扁平的、非nat网络和其他pod通信。

1、网络是什么样子的

pod用于通信的网络必须是：pod自己认为的ip地址一定和所有其他节点认为该pod拥有的ip地址一致。

如当pod A连接（发送网络包）到pod B时，pod B获取到的源IP地址必须和pod A自己认为的IP地址一致。期间没有网络地址转换（NAT）操作。pod A发送到pod B的包必须保持源和目的地址不变。这很重要，保证运行在pod内部的应用网络的间接性，就像运行在同一个网关机上一致。

2、深入了解网络工作原理

如之前讲到的，我们看到创建pod的ip地址以及网络命名空间，由基础设施容器--暂停容器来保存这些信息，然后pod容器就可以使用网络命名空间了。pod网络接口就是生成在基础设施容器的的一些东西。

1）同节点pod通信

基础设施启动之前，为容器创建一个虚拟Ethernet接口对（veth pair），其中一个对的接口保留在主机的命名空间中，而其他的对被移入容器网络命名空间，并重命名为eth0。两个虚拟接口就像管道的两侧，从一端进入，另一端出来。

主机网络命名空间的接口会绑定到容器运行时配置使用的网络桥接上，从网桥的地址段中取ip地址复制给容器内的eth0接口。应用的任何运行在容器内部的程序都会发送数据到eth0网络接口，数据从主机命名空间的另一个veth接口出来，然后发送给网桥。这意味着任何连接到网桥接口都可以接收该数据。

如果pod A发送网络包到pod B，报文首先会经过pod A的veth对到网桥然后经过pod B的veth对。所有节点上的容器都会连接到同一个网桥，意味着他们都能够互相通信。

2）不同节点上的pod通信

有多重连接不同节点航的网桥方式，可以通过overlay、underlay网络或常规的三层路由。

跨整个集群的pod的ip地址必须是唯一的，所以跨节点的网桥必须使用非重叠地址段，防止不同节点上的pod拿到同一个ip。

如上图为三层网络支持跨两个节点pod通信。节点的物理网络接口业务也要连接到网桥。节点A的路由表需要被配置如下图。这样所有目的地为10.1.2.0/24的豹纹会被路由到节点B，同时节点B的路由表也需要配置城如下，这样发送到10.1.1.0/24的包会被发送到节点A。

按照该配置，当报文从一个节点上的容器发送到其他节点上的容器，报文先通过veth pair，通过网桥到节点物理适配器，然后通过网线传到其他节点的物理适配器，再通过其他节点的网桥，最终经过veth pair到达目标容器。

3、引入容器网络接口

为了让连接容器到网络更加方便，启动一个项目容器网络接口（CNI），CNI允许kubernetes可配置使用任何CNI插件，这些插件包含：

• Calico
• Flannel 
• Romana
• Weave net
• 其他

kubernetes(K8S) 容器管理“扫盲“ 学习笔记

写在前面

---

• 看着Activiti官网的博客教程学Activiti7，需要用这个，之前看有些运维岗需要学，所以了解一下。
• 笔记是看视频学的时候做的
• 笔记内容包含对K8S的一个基本认识。

太多人活得不像自己。思想是别人的意见,生活是别人的模仿,情感是别人的引述。----王尔德

---

一、kubernetes 概述

1、kubernetes 基本介绍

kubernetes 是什么

kubernetes，简称 K8s，是用 8 代替 8 个字符“ubernete”而成的缩写。是一个开源的，用于管理云平台中多个主机上的容器化的应用，Kubernetes 的目标是让部署容器化的应用简单并且高效（powerful）,Kubernetes 提供了应用部署，规划，更新，维护的一种机制。说白了，K8S，就是基于容器(Docker单机版)的集群管理平台,用于管理多个Docker的。Docker 非常适合在一台主机上运行容器，并为此提供所有必需的功能。但在当今的分布式服务环境中，真正的挑战是管理跨服务器和复杂基础架构的资源和工作负载。

传统的应用部署方式是通过插件或脚本来安装应用。这样做的缺点是应用的运行、配置、管理、所有生存周期将与当前操作系统绑定，这样做并不利于应用的升级更新/回滚等操作，当然也可以通过创建虚拟机的方式来实现某些功能，但是虚拟机非常重，并不利于可移植性。

新的方式是通过部署容器方式实现，每个容器之间互相隔离，每个容器有自己的文件系统 ，容器之间进程不会相互影响，能区分计算资源。相对于虚拟机，容器能快速部署(虚拟机可以理解为硬件抽象,容器可以理解为系统抽象,共用Linux内核)，由于容器与底层设施、机器文件系统解耦的，所以它能在不同云、不同版本操作系统间进行迁移。容器占用资源少、部署快，每个应用可以被打包成一个容器镜像，每个应用与容器间成一对一关系也使容器有更大优势，使用容器可以在 build 或 release 的阶段，为应用创建容器镜像，因为每个应用不需要与其余的应用堆栈组合，也不依赖于生产环境基础结构，这使得从研发到测试、生产能提供一致环境。类似地，容器比虚拟机轻量、更“透明”，这更便于监控和管理。

Kubernetes 是 Google 开源的一个容器编排引擎

Kubernetes 是 Google 开源的一个容器编排引擎，它支持自动化部署、大规模可伸缩、应用容器化管理。在生产环境中部署一个应用程序时，通常要部署该应用的多个实例以便对应用请求进行负载均衡。在 Kubernetes 中，我们可以创建多个容器，每个容器里面运行一个应用实例，然后通过内置的负载均衡策略，实现对这一组应用实例的管理、发现、访问，而这些细节都不需要运维人员去进行复杂的手工配置和处理。

2、kubernetes 功能和架构

2.1 概述

Kubernetes 是一个轻便的和可扩展的开源平台，用于管理容器化应用和服务。通过Kubernetes 能够进行应用的自动化部署和扩缩容。在 Kubernetes 中，会将组成应用的容器组合成一个逻辑单元以更易管理和发现。Kubernetes 积累了作为 Google 生产环境运行工作负载 15 年的经验，并吸收了来自于社区的最佳想法和实践。

2.2 K8s 功能(Kubernetes 适用场景):

• （1）自动装箱:基于容器对应用运行环境的资源配置要求自动部署应用容器
• （2）自我修复(自愈能力):当容器失败时，会对容器进行重启,当所部署的 Node 节点有问题时，会对容器进行重新部署和重新调度,当容器未通过监控检查时，会关闭此容器直到容器正常运行时，才会对外提供服务
• （3）水平扩展:通过简单的命令、用户 UI 界面或基于 CPU 等资源使用情况，对应用容器进行规模扩大或规模剪裁
• （3）服务发现:用户不需使用额外的服务发现机制，就能够基于 Kubernetes 自身能力实现服务发现和负载均衡
• （4）滚动更新:可以根据应用的变化，对应用容器运行的应用，进行一次性或批量式更新
• （5）版本回退:可以根据应用部署情况，对应用容器运行的应用，进行历史版本即时回退
• （6）密钥和配置管理:在不需要重新构建镜像的情况下，可以部署和更新密钥和应用配置，类似热部署。
• （7）存储编排:自动实现存储系统挂载及应用，特别对有状态应用实现数据持久化非常重要存储系统可以来自于本地目录、网络存储(NFS、Gluster、Ceph 等)、公共云存储服务
• （8）批处理:提供一次性任务，定时任务；满足批量数据处理和分析的场景

2.3 应用部署架构分类

(1) 无中心节点架构： GlusterFS
(2) 有中心节点架构： HDFS、K8S

2.4 k8s 集群架构

Pod
#1》一个服务，是k8s管理的`最小单元`，k8s从 Pod中启动和管理容器；
#2》由Pod来管理一组相同功能的容器；
#3》一个Pod可以管理一个容器,也可以管理多个容器；

2.5 k8s 集群架构节点角色功能

Master Node:集群主控制节点，对集群进行调度管理，接受集群外用户去集群操作请求；Master Node 由

• API server (管理接口):是整个系统的对外接口，供客户端和其他组件调用，相当于“营业厅”
• scheduler（调度器）:负责对集群内部的资源进行调度，相当于“调度室”
• controller (控制器):负责管理控制器，相当于“大总管”。
• etcd (键值对数据库):是一个键值存储仓库，存储集群的状态
Worker Node:集群工作节点，运行用户业务应用容器；Worker Node 包含 `
• docker：容器管理
• kubelet：主要负责监视指派到它所在的 Pod，包括创建、修改、监控、删除等。
• kube-proxy：主要负责为Pod对象提供代理
• 其他附加服务
  

分布式键值存储服务

Etcd 服务

etcd是什么：

• etcd 是 CoreOS 团队于 2013 年 6 月发起的开源项目，它的目标是构建一个高可用的分布式键值（key-value）数据库，基于 Go 语言实现。在分布式系统中，各种服务的配置信息的管理分享，服务的发现是一个很基本同时也是很重要的问题。CoreOS 项目就希望基于 etcd 来解决这一问题。
• 我们使用 etcd 来存储网络配置，解决容器互联互通的问题。

2.6 K8S核心概念：

通过Service统一入口进行访问，Controller用于创建Pot，Pot是一组容器的集合。

1. Pod:最小部署单元,一组容器的集合,共享网络,生命周期是短暂的
2. controller：确保预期的pod副本数量、无状态应用部署（无约定）、有状态应用部署(有特定条件)、确保所有的node运行同一个pod、一次性任务和定时任务
3. Service：定义一组pod的访问规则

搭建k8环境平台规划

服务器硬件配置要求搭建

测试环境：

• master：2核+4G+20G
• node：4核+8G+40G
  生产环境：

二、kubernetes 集群搭建(kubeadm 方式)

搭建方式

目前生产部署 Kubernetes 集群主要有两种方式：

• （1）kubeadm
  Kubeadm 是一个K8s 部署工具，提供kubeadm init和 kubeadm join，用于快速部署 Kubernetes 集群。官方地址
• （2）二进制包
  从 github 下载发行版的二进制包，手动部署每个组件，组成 Kubernetes 集群。
  Kubeadm 降低部署门槛，但屏蔽了很多细节，遇到问题很难排查。如果想更容易可
  控，推荐使用二进制包部署 Kubernetes 集群，虽然手动部署麻烦点，期间可以学习很
  多工作原理，也利于后期维护。

kubeadm 部署方式介绍

kubeadm 是官方社区推出的一个用于快速部署 kubernetes 集群的工具，这个工具能通过两条指令完成一个 kubernetes 集群的部署：

• 第一、创建一个 Master 节点 kubeadm init
• 第二， 将 Node节点加入到当前集群中 $ kubeadm join <Master 节点的 IP 和端口 >

安装要求

在开始之前，部署 Kubernetes 集群机器需要满足以下几个条件：

• 一台或多台机器，操作系统 CentOS7.x-86_x64
• 硬件配置：2GB 或更多 RAM，2 个 CPU 或更多 CPU，硬盘 30GB 或更多
• 集群中所有机器之间网络互通
• 可以访问外网，需要拉取镜像
• 禁止 swap 分区

最终目标

角色	IP
k8s-master	192.168.31.61
k8s-node1	192.168.31.62
k8s-node2	192.168.31.63

6、系统初始化

#关闭防火墙：
$ systemctl stop firewalld
$ systemctl disable firewalld

#关闭 selinux：
$ sed -i 's/enforcing/disabled/' /etc/selinux/config # 永久
$ setenforce 0 # 临时

# swap：
$ swapoff -a # 临时
$ vim /etc/fstab # 永久

# 主机名：
$ hostnamectl set-hostname <hostname>

#  在 master 添加 hosts：
$ cat >> /etc/hosts << EOF
192.168.31.61 k8s-master
192.168.31.62 k8s-node1
192.168.31.63 k8s-node2
EOF

#将桥接的 IPv4 流量传递到 iptables 的链：
$ cat > /etc/sysctl.d/k8s.conf << EOF
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF
$ sysctl --system # 生效

#时间同步：
$ yum install ntpdate -y
$ ntpdate time.windows.com

7、所有节点安装 Docker/kubeadm/kubelet

Kubernetes 默认 CRI（容器运行时）为 Docker，因此先安装 Docker。

#（1）安装 Docker
$ wget https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo -O /etc/yum.repos.d/docker-ce.repo
$ yum -y install docker-ce-18.06.1.ce-3.el7
$ systemctl enable docker && systemctl start docker
$ docker --version

#（2）添加阿里云 YUM 软件源
#设置仓库地址
$ cat > /etc/docker/daemon.json << EOF
{
"registry-mirrors": ["https://b9pmyelo.mirror.aliyuncs.com"]
}
EOF
#添加 yum 源
$ cat > /etc/yum.repos.d/kubernetes.repo << EOF
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg
https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

#（3）安装 kubeadm，kubelet 和 kubectl
$ yum install -y kubelet kubeadm kubectl
$ systemctl enable kubelet

8、部署 Kubernetes Master

#（1）在 192.168.31.61（Master）执行
$ kubeadm init \\
--apiserver-advertise-address=192.168.31.61 \\
--image-repository registry.aliyuncs.com/google_containers \\
--kubernetes-version v1.17.0 \\
--service-cidr=10.96.0.0/12 \\
--pod-network-cidr=10.244.0.0/16
#由于默认拉取镜像地址 k8s.gcr.io 国内无法访问，这里指定阿里云镜像仓库地址。

#（2）使用 kubectl 工具：
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
$ kubectl get nodes

9、安装 Pod 网络插件（CNI）

$ kubectl apply –f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kubeflannel.yml
#检查一下
kubect1 get pods -n kube-system

确保能够访问到 quay.io 这个 registery。如果 Pod 镜像下载失败，可以改这个镜像地址

10、加入 Kubernetes Node

#（1）在 192.168.31.62/63（Node）执行
向集群添加新节点，执行在 kubeadm init 输出的 kubeadm join 命令：
$ kubeadm join 192.168.31.61:6443 --token esce21.q6hetwm8si29qxwn \\
--discovery-token-ca-cert-hash
sha256:00603a05805807501d7181c3d60b478788408cfe6cedefedb1f97569708be9c5

11、测试 kubernetes 集群

#在 Kubernetes 集群中创建一个 pod，验证是否正常运行：
$ kubectl create deployment nginx --image=nginx
$ kubectl expose deployment nginx --port=80 --type=NodePort
$ kubectl get pod,svc
#访问地址：http://NodeIP:Port

三、kubernetes 集群搭建(二进制方式)

这个先不看

嗯，先了解到这里，以后有机会在学。