k8s高可用环境部署系统准备

Posted 2020-11-26

说明

这里使用 VMware 创建三台master节点机器，一台node节点。虚拟机的创建过程由于不是本节的重点，所以不再叙述。三台机器具体信息如下：

master节点1： 192.168.246.193 主机名：master01
master节点2： 192.168.246.194 主机名：master02
master节点3： 192.168.246.195 主机名：master03
Node节点1:    192.168.246.196 主机名：node01

固定虚拟机IP并能正常访问网络

四台机器均是如下操作步骤：
主机IP分别是：192.168.246.193/194/195/196

#虚拟机网络选择
网络适配器 --> NAT

#更改虚拟机网络配置文件
cd /etc/sysconfig/network-scripts
cat > ifcfg-ens33 << EOF
TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33
DEVICE=ens33
ONBOOT=yes
IPADDR=192.168.246.193
NETMASK=255.255.255.0
DNS=8.8.8.8
GATEWAY=192.168.246.2
EOF

#更改 resolv.conf 文件
echo "nameserver 114.114.114.114" >> /etc/resolv.conf

#重启网卡
systemctl restart network

更改主机名字

四台机器均是如下操作步骤：

主机名字分别是：master01、master02、master03、node01

hostnamectl set-hostname master01
hostname master01
bash

使用阿里云 yum 源

四台机器均是如下操作步骤：

#删除yum源缓存数据
rm -rf /var/cache/yum/x86_64/7/*
#删除系统中默认的源
rm -rf /etc/yum.repos.d/*
#添加aliyun的base源
wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
#添加aliyun的EPEL源
wget -P /etc/yum.repos.d/ http://mirrors.aliyun.com/repo/epel-7.repo 
#清理缓存并生成新的缓存
yum clean all
yum makecache
#查看当前使用的yum源
yum repolist

安装相关依赖包

四台机器均是如下操作步骤：

yum install -y conntrack ntpdate ntp ipvsadm ipset jq iptables curl sysstat libseccomp wget  vim net-tools git

设置防火墙为 Iptables 并设置空规则

四台机器均是如下操作步骤：

systemctl stop firewalld && systemctl disable firewalld
yum -y install iptables-services  &&  systemctl  start iptables  &&  systemctl  enable iptables && iptables -F  &&  service iptables save && iptables -nvL

关闭 SELINUX

四台机器均是如下操作步骤：

swapoff -a && sed -i ‘/ swap / s/^(.*)$/#1/g‘ /etc/fstab
setenforce 0 && sed -i ‘s/^SELINUX=.*/SELINUX=disabled/‘ /etc/selinux/config

调整内核参数，对于 K8S

四台机器均是如下操作步骤：

cat > /etc/sysctl.d/kubernetes.conf << EOF
net.bridge.bridge-nf-call-iptables=1
net.bridge.bridge-nf-call-ip6tables=1
net.ipv4.ip_forward=1
net.ipv4.ip_nonlocal_bind = 1
net.ipv4.tcp_tw_recycle=0
vm.swappiness=0 # 禁止使用 swap 空间，只有当系统 OOM 时才允许使用它
vm.overcommit_memory=1 # 不检查物理内存是否够用
vm.panic_on_oom=0 # 开启 OOM
fs.inotify.max_user_instances=8192
fs.inotify.max_user_watches=1048576
fs.file-max=52706963
fs.nr_open=52706963
net.ipv6.conf.all.disable_ipv6=1
net.netfilter.nf_conntrack_max=2310720
EOF

sysctl -p /etc/sysctl.d/kubernetes.conf

调整系统时区

四台机器均是如下操作步骤：

#设置系统时区为 中国/上海
timedatectl set-timezone Asia/Shanghai 
#将当前的 UTC 时间写入硬件时钟 
timedatectl set-local-rtc 0
#重启依赖于系统时间的服务
systemctl restart rsyslog
systemctl restart crond

关闭系统不需要服务

四台机器均是如下操作步骤：

systemctl stop postfix && systemctl disable postfix

设置 rsyslogd 和 systemd journald

四台机器均是如下操作步骤：

#创建持久化保存日志的目录
mkdir /var/log/journal
mkdir /etc/systemd/journald.conf.d
cat > /etc/systemd/journald.conf.d/99-prophet.conf <<EOF
[Journal]
#持久化保存到磁盘
Storage=persistent
#压缩历史日志
Compress=yes
SyncIntervalSec=5m
RateLimitInterval=30s
RateLimitBurst=1000
#最大占用空间 10G 
SystemMaxUse=10G
#单日志文件最大 200M
SystemMaxFileSize=200M
#日志保存时间 2 周
MaxRetentionSec=2week
#不将日志转发到 syslog
ForwardToSyslog=no
EOF

systemctl restart systemd-journald

升级系统内核为 4.44（可选）

四台机器均是如下操作步骤：

CentOS 7.x 系统自带的 3.10.x 内核存在一些 Bugs，导致运行的 Docker、Kubernetes 不稳定，查看内核命令uname -r，升级步骤如下：

rpm -Uvh http://www.elrepo.org/elrepo-release-7.0-3.el7.elrepo.noarch.rpm
#安装完成后检查 /boot/grub2/grub.cfg 中对应内核 menuentry 中是否包含 initrd16 配置，如果没有，再安装一次!
yum --enablerepo=elrepo-kernel install -y kernel-lt
#设置开机从新内核启动
grub2-set-default "CentOS Linux (4.4.182-1.el7.elrepo.x86_64) 7 (Core)"

关闭 NUMA（可选）

四台机器均是如下操作步骤：

#备份grub文件
cp /etc/default/grub{,.bak}
vim /etc/default/grub 
#在 GRUB_CMDLINE_LINUX 一行添加 `numa=off` 参数，如下所示:
diff /etc/default/grub.bak /etc/default/grub
6c6
< GRUB_CMDLINE_LINUX="crashkernel=auto rd.lvm.lv=centos/root rd.lvm.lv=centos/swap rhgb quiet"
---
> GRUB_CMDLINE_LINUX="crashkernel=auto rd.lvm.lv=centos/root rd.lvm.lv=centos/swap rhgb quiet numa=off"
#备份grub.cfg文件
cp /boot/grub2/grub.cfg{,.bak}
grub2-mkconfig -o /boot/grub2/grub.cfg

安装docker

四台机器均是如下操作步骤：

可参考Centos7中docker升级操作

#查看docker版本
docker -v
Docker version 19.03.8, build afacb8b

#更改docker的Cgroup Driver和添加镜像下载加速

# docker info

Cgroup Driver: systemd      ######------主要看这里，没有修改之前应该是 cgroup

#修改 docker文件驱动, 修改保存后 重新启动 docker  
#修改或者创建
vim /etc/docker/daemon.json

#添加如下内容 

{
"exec-opts": ["native.cgroupdriver=systemd"],
"registry-mirrors": ["https://registry.cn-hangzhou.aliyuncs.com"]
}
#重启docker守护进程和服务
systemctl daemon-reload
systemctl restart docker