Ansible搭建K8S说明

Posted 2021-12-24 数通畅联

kubernetes是一个开源的容器集群管理系统，可以实现容器集群的自动化部署、自动扩缩容、维护等功能。之前部署K8S集群都是参照文档逐步执行完成的，需要大量时间且部署过程中会出现各种各样的问题，本篇文章以kubernetes1.14.0为例，介绍如何使用ansible进行K8S三台服务器非高可用的一键式离线安装。

1名词解释 

1.K8S：是一个开源的，用于管理云平台多个主机上的容器化应用，Kubernetes目标是使部署容器化的应用简单且高效，Kubernetes提供了应用部署、规划、更新、维护的一种机制； 

2.Ansible：是新出现的自动化运维工具，基于Python开发，集合了多数运维工具（puppet、chef、func、fabric）的优点，实现了批量系统配置、批量程序部署、批量运行命令等功能； 

3.机器名：在局域网或者是INTERNET上，每台主机都有一个IP地址，它可以区分每台主机，并可以根据IP进行通讯。但IP地址不方便记忆，所有又有了域名。在一个局域网中，每台机器都有一个主机名，用于区分主机，便于相互访问； 

4.Selinux：是部署在 Linux 系统中增强安全的功能模块，它通过对进程和文件资源采用 MAC（强制访问控制方式）为 Linux 系统提供改进的安全性； 

5.防火墙：FirewallD提供了支持网络/防火墙区域(zone)定义网络链接以及接口安全等级的动态防火墙管理工具。centos有两种防火墙FirewallD和iptables防火墙，centos7使用的是FirewallD防火墙。FirewallD是iptables的一个封装，可以让你更容易地管理 iptables规则，但它并不是iptables的替代品。 

2整体说明 

首先介绍3台服务器，各个服务器上部署的应用，其次介绍相关使用的命令，最后介绍ansible脚本使用到的文件大体作用。 

2.1部署架构 

这里分为服务器架构和K8S集群架构两类。 

2.1.1服务器 

以部署3台服务器为例： 

1台master： 

部署：1个nginx ，1个数据库（可以单独服务器部署），1个NFS服务端，1个私有镜像库，1个umc ，1个umc使用的redis； 

要求：cpu要大，内存和硬盘适中。 

2台worker： 

部署：2个ingress-controller， 2个NFS客户端，若干产品服务，对应产品的redis集群（开发环境单机）； 

要求：cpu，内存和硬盘都要尽可能大些。 

2.1.2K8S集群 

说明： 单master版适用于演示环境，生成环境一定要使用多master版K8S高可用模式。 

2.2脚本说明 

介绍本次使用的相关文件，方便大家使用时，知道执行的原理和流程，而不仅只是个执行者。 

2.2.1文件说明 

3个文件，如下图： 

1.ansible-install.zip 

ansible程序的安装文件，一键部署使用的命令就是ansible。 

2.ansible-install-K8S-master.zip 

一键K8S部署相关文件，包括部署执行文件，设置全局变量文件，初始化文件等。 

3.binary_pkg.zip 

部署所需安装包存放目录。 

2.2.2部署文件 

简单就ansible-install-K8S-master文件夹进行说明，如下图： 

说明： 

1.group_vars：全局变量目录，包含all.yml文件； 

2.roles：能够根据层次型结构自动装载变量文件、task以及handlers等。简单来讲，roles就是通过分别将变量、文件、任务、模块及处理器放置于单独的目录中，并可以便捷地include它们；

3.add-node.yml：节点扩容执行部署文件； 

4.hosts：配置服务器hosts文件； 

5.multi-master-deploy.yml：高可用Master版K8S部署执行文件（本次搭建为非高可用）； 

6.single-master-deploy.yml：非高可用Master版K8S部署执行文件。 

2.3相关命令 

3配置过程 

下面开始一些重要的准备工作，为一键部署K8S集群做准备。 

3.1前置条件 

1.确保所有节点系统时间一致 

2.设置主机名 

注意：黄色部分根据实际情况酌情修改 。

  

3.创建目录（3台服务器执行） 

  

4.只在master服务器/opt/kubernetes/tools目录下，上传ansible-install.zip、ansible-install-K8S-master.zip、binary_pkg.zip 

5.解压3个压缩包 

  

6.关闭selinux（注意：此步骤建议手动执行，然后手动重启服务器reboot，因为有时候修改后状态不是Disabled，需要重启生效） 

  

3.2安装ansible 

ansible仓库默认不在yum仓库中，因此我们需要使用下面的命令启用epel仓库。 

1.启用epel仓库，安装ansible  ;

2.确认安装 ;

3.3初始化配置 

1.初始化hosts 

修改主机文件，根据规划修改对应的IP和名称（即hostname) 。

  

样例说明： 

hosts文件，只修改下图中三个地方。[master]为主节点Ip，[node]为两个工作节点ip，[etcd]为数据库节点Ip，目前用master+2台Node当作etcd节点，所以[etcd]中Ip修改为三台服务器Ip。 

2.初始化all.yml 

修改多个目录和证书可信任IP：

样例说明： 

all.yml修改示例如下：只修改K8S和etcd下面的三行Ip地址就可以，其他不要动。 

3.4一键部署集群 

执行single-master-deploy.yml文件，等待执行结果：

3.5生成证书位置 

部署产生的证书都会存放到目录“ansible-install-K8S-master/ssl”，如下图：

4验证集群 

检查是否安装成功： 

若出现下面结果，说明安装K8S集群成功，如下图： 

5恢复安全 

开启防火墙，设置IP白名单，设置端口。 

1.linux服务器/etc/firewalld/zones目录对public.xml、trusted.xml进行调整（如果没有、则创建）； 

2.vi编辑public.xml文件，加入需要开放的端口； 

3.vi编辑trusted.xml文件，加入ip白名单地址； 

4.重启防火墙，systemctl restart firewalld.service； 

5.1public.xml 

public.xml是公共网络配置，只需要开启端口或服务即可，比如：ssh服务、dhcpv6-client服务，80、443端口。  

配置样例如下： 

5.2trusted.xml 

trusted.xml是受信任网络配置，把ip白名单或者网段添加进来即可，比如： 

10.244.0.0/16网段（B级别网段，K8S容器集群ip网段），172.30.128.0/24（K8S物理服务器节点ip网段，通常是C级别网段，根据实际情况来调整）；10.23.237.71是单个特定要访问的ip地址（根据实际情况来调整）。 

配置样例如下： 

5.3参考文档 

关于K8S集群防火墙调整的详细说明请查看《K8S集群搭建开放防火墙调整说明》文档。 

6参考连接 

1.ansible搭建K8S： 

ansible搭建K8S - 又逢落花时节 - 博客园 (cnblogs.com) 

GitHub - lizhenliang/ansible-install-K8S 

2.二进制K8S部署包下载地址，注意版本 ；

https://dl.K8S.io/v1.14.0/kubernetes-server-linux-amd64.tar.gz

7写在最后 

这次学习使用ansible搭建K8S(非高可用)，让我对K8S的安装又打开了新思路，之前是使用软件安装的，而本次是直接使用二进制编译安装，也初步学习了解了ansible的一些基本用法和语法结构，并进行梳理总结。 

7.1调整部分 

因为网上使用的是比较新的K8S版本，考虑到和我们产品使用的版本跨度太大，API版本的调用，故调整相关文件和安装包版本，调整如下： 

1.K8S镜像改用1.14.0； 

2.docker版本18.06.1-ce； 

3.ingress改用0.29.0； 

4.修改kube-controller-manager.conf配置文件，因为版本不同，配置参数不一样； 

5.网络插件由calico改用flannel； 

6.移除Dashboard。 

7.2技能收获 

在之前有考虑过脚本化K8S部署，准备使用shell脚本的方式实现，现在看来这个想法还不够成熟。ansible的使用方法和之前想到的脚本不太相同，ansible的语法逻辑对于我来说是比较陌生的。经过1天半的学习研究，加上实际操作成功把K8S部署制作出来。同时因为需要调整K8S版本，让我深入了解了ansible的使用方法。 

7.3后续展望 

本次成功只是阶段性的胜利，后面还有外围产品、软件的一键部署安装，K8S高可用的一键部署安装。目前只是初步了解，后面还有更加困难的问题在等待着我，但我相信我一定可以攻克困难，取得成功。 

这里要说明下，其实不仅是K8S相关的需要一键部署，我们现在做的许多事情都可以写成脚本一键执行，比如传统的redis部署，mysql安装等。后续在做重复工作时，一定要考虑简化操作一键部署的可能性，这样即节省时间，又可以降低人工操作失误导致的问题。