kubernetes v1.14.3 HA集群安装

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了kubernetes v1.14.3 HA集群安装相关的知识,希望对你有一定的参考价值。

kubernetes v1.14.3 HA集群安装

目录结构

  1. 集群规划

    主机名 ip 角色 组件
    master1-3 192.168.14.138-140 master+etcd etcd kube-apiserver kube-controller-manager kubectl kubeadm kubelet kube-proxy flannel
    worker1 192.168.14.141 node kubectl kubeadm kubelet kube-proxy flannel
    vip 192.168.14.142 实现apiserver的高可用
  2. 组件版本

    组件 版本
    centos 7.3.1611
    kernel 3.10.0-957.el7.x86_64
    kubeadm v1.14.3
    kubelet v1.14.3
    kubectl v1.14.3
    kube-proxy v1.14.3
    flannel v0.11.0
    etcd 3.3.10
    docker 18.09.5
    kubernetes-dashboard v1.10.1
    keepalived 1.3.5
    haproxy 1.5.18
  3. 高可用架构说明

    技术图片

    kubernetes架构概念

    kube-apiserver:集群核心,集群API接口、集群各个组件通信的中枢;集群安全控制;
    etcd:集群的数据中心,用于存放集群的配置以及状态信息,通过RAFT同步信息。
    kube-scheduler:集群Pod的调度中心;默认kubeadm安装情况下–leader-elect参数已经设置为true,保证master集群中只有一个kube-scheduler处于活跃状态;
    kube-controller-manager:集群状态管理器,当集群状态与期望不同时,kcm会努力让集群恢复期望状态,比如:当一个pod死掉,kcm会努力新建一个pod来恢复对应replicas set期望的状态;默认kubeadm安装情况下–leader-elect参数已经设置为true,保证master集群中只有一个kube-controller-manager处于活跃状态;
    kubelet: kubernetes node上的 agent,负责与node上的docker engine打交道;
    kube-proxy: 每个node上一个,负责service vip到endpoint pod的流量转发,原理是通过设置iptables规则实现

    负载均衡说明

    haproxy: 主要用于apiserver负载均衡
    keepalived: 主要用于apiserver高可用。
    haproxy+keepalived主要功能就是实现高可用状态的负载均衡。首先通过keepalived生成一个虚地址VIP(主机点宕机后漂移到其他机器,VIP在哪台机器上,就和本地ip地址一样,都代表本机,共用同网卡,共用本地服务service,本地接口socket),然后当访问VIP:PORT再通过haproxy负载至后端的实际端口RIP:6443,即真正的apiserver服务.

  4. 准备工作

    1、安装docker

    ? 参考

    2、修改内核参数

    cat <<EOF >  /etc/sysctl.d/k8s.conf
    net.bridge.bridge-nf-call-ip6tables = 1
    net.bridge.bridge-nf-call-iptables = 1
    net.ipv4.ip_forward=1
    EOF
    sysctl --system

    3、关闭Swap

    4、开启ipvs

    5、禁用selinux,关闭防火墙

    关闭selinux
    setenforce 0
    sed -i ‘s/SELINUX=permissive/SELINUX=disabled/‘ /etc/sysconfig/selinux
    关闭防火墙
    systemctl stop firewall.service
    systemctl disable firewall.service

    6、开启免密,检查网络,dns,hosts,ntp是否正常

    开启免密
    [master1]ssh-kengen 
    [master1]ssh-copy-id [email protected]
    编辑hosts
    vim /etc/hosts
    开启ntp同步
    systemctl start ntpd.service
    systemctl enable ntpd.service
  5. 安装步骤

    一、安装haproxy和keepalived来创建一个负载均衡器。

    1、安装haproxy

    分发安装haproxy(所有master节点)
    for i in master1 master2 master3; do ssh  [email protected]$i  "yum install haproxy ";done
    配置haproxy文件(所有master节点)
    cat <EOF > /etc/haproxy/haproxy.cfg
    global
       log         127.0.0.1 local2
       chroot      /var/lib/haproxy
       pidfile     /var/run/haproxy.pid
       maxconn     4000
       user        haproxy
       group       haproxy
       daemon
    
    defaults
       mode                    tcp
       log                     global
       retries                 3
       timeout connect         10s
       timeout client          1m
       timeout server          1m
    
    frontend kubernetes
       bind *:8443              #配置端口为8443
       mode tcp
       default_backend kubernetes-master
    
    backend kubernetes-master           #后端服务器,也就是说访问192.168.255.140:8443会将请求转发到后端的三台,这样就实现了负载均衡
       balance roundrobin
       server master1  192.168.14.138:6443 check maxconn 2000
       server master2  192.168.14.139:6443 check maxconn 2000
       server master3  192.168.14.140:6443 check maxconn 2000
    EOF
    分发配置文件
    for i in master1 master2 master3; do scp  /etc/haproxy/haproxy.cfg   [email protected]$i:/etc/haproxy/haproxy.cfg;done
    重启服务器
    systemctl daemon-reload && systemctl restart haproxy && systemctl haproxy

    2、安装keepalived

    分发安装haproxy(所有master节点)
    for i in master1 master2 master3; do ssh  [email protected]$i  "yum install keepalived ";done
    配置keepalived文件(所有master节点)
    
    cat <EOF > /etc/keepalived/keepalived.conf
    global_defs 
      notification_email 
        [email protected]
        [email protected]
        [email protected]
      
      notification_email_from [email protected] #表示发送通知邮件时邮件源地址是谁
      smtp_server 192.168.200.1 #表示发送email时使用的smtp服务器地址
      smtp_connect_timeout 30 #连接smtp连接超时时间
      router_id LVS_docker1  #主机标识
      vrrp_skip_check_adv_addr
      vrrp_strict
      vrrp_garp_interval 0
      vrrp_gna_interval 0
    
    
    vrrp_instance VI_1 
       state MASTER         #备服务器上改为BACKUP
       interface ens160       #改为自己的接口
       virtual_router_id 51   # VRID 不可更改
       priority 100         #备服务器上改为小于100的数字,90,80
       advert_int 1
       authentication 
           auth_type PASS
           auth_pass 1111
       
       virtual_ipaddress 
           192.168.14.142          #虚拟vip,自己设定
       
    
    EOF
    keepalived配置不太一样,要求修改后分发。
    重启服务器
    systemctl daemon-reload && systemctl restart keepalived && systemctl keepalived

    3、验证keepalived是否正常工作。

    登录主节点
    ip a

    二、安装 kubeadm, kubelet 和 kubectl

    1、添加国内yum源

    cat <<EOF > /etc/yum.repos.d/kubernetes.repo
    [kubernetes]
    name=Kubernetes
    baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
    enabled=1
    gpgcheck=0
    repo_gpgcheck=0
    gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
    EOF

    2、指定版本安装

    更新仓库
    yum makecache fast
    查找相应版本软件
    yum search --showduplicates kubeadm

    3、在所有安装kubelet的节点上,将kubelet设置为开机启动

    yum install  -y kubectl-1.14.3  kubeadm-1.14.3 kubelet-1.14.3
    systemctl daemon-reload && systemctl restart kubelet && systemctl kubelet 

    四、提前下载所有需要用到的镜像(谷歌镜像,通过代理下载)

    1、查看需要下载的镜像

    kubeadm config images list

    2、通过代理转换镜像(命令行直接输入)(所有节点)

    for i  in kube-apiserver:v1.14.3 kube-controller-manager:v1.14.3  kube-scheduler:v1.14.3 kube-proxy:v1.14.3 pause:3.1 etcd:3.3.10 coredns:1.3.1 ;do docker pull gcr.akscn.io/google_containers/$i ;docker tag gcr.akscn.io/google_containers/$i  k8s.gcr.io/$i; done

    五、初始化master

    1、初始化master,所有master算作控制平面节点

    1) 在master1编写集群的的初始化配置文件

    ? 集群版本是v1.14.3

    ? 指定集群的api端口和地址

    ? 使用flannel,指定pod端口范围"10.244.0.0/16"

    cat <EOF >  kubeadm-config.yaml
    apiVersion: kubeadm.k8s.io/v1beta1
    kind: ClusterConfiguration
    kubernetesVersion: v1.14.3
    controlPlaneEndpoint: "192.168.14.142:8443"
    networking:
     podSubnet: "10.244.0.0/16"
    EOF

    2) 执行初始化

    kubeadm init  --pod-network-cidr=10.244.0.0/16  --config=kubeadm-config.yaml --experimental-upload-certs

    3) 初始化完成后的主要提示如下

    其他的master节点加入控制平面的命令
    kubeadm join 192.168.14.142:8443 --token g9up4e.wr2zvn1y0ld2u9c8     --discovery-token-ca-cert-hash sha256:d065d5c2bfce0f5e0f784ed18cb0989dd19542721969c12888f04496b03f121c     --experimental-control-plane --certificate-key ddad01f830084f0dd4a9f89e914020cf1001aa31f4550cf5fccce9bad2d6d599
    node节点加入node的命令
    kubeadm join 192.168.14.131:6443 --token xl9aa5.2lxz30aupuf9lbhh     --discovery-token-ca-cert-hash sha256:0fa135166d86ad9e654f7b92074b34a42a5a25152c05e9253df62af8541c7bad
    配置kubeconfig的命令提示
    mkdir -p $HOME/.kube
    sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
    sudo chown $(id -u):$(id -g) $HOME/.kube/config
    

    4)配置kubectl,主要是配置访问apiserver 的权限

    4)kubectl命令补选

    echo "source <(kubectl completion bash)" > ~/.bashrc

    source ~/.bashrc

    2、初始化其他master

    其他的master节点加入控制平面的命令
    kubeadm join 192.168.14.142:8443 --token g9up4e.wr2zvn1y0ld2u9c8     --discovery-token-ca-cert-hash sha256:d065d5c2bfce0f5e0f784ed18cb0989dd19542721969c12888f04496b03f121c     --experimental-control-plane --certificate-key 

    3、检查三台master是否初始化成功

    kubectl get nodes 

    六、 将worker节点加入集群

    kubeadm join 192.168.14.131:6443 --token xl9aa5.2lxz30aupuf9lbhh     --discovery-token-ca-cert-hash sha256:0fa135166d86ad9e654f7b92074b34a42a5a25152c05e9253df62af8541c7bad

    七、安装网络插件Flannel(主节点运行即可)

    kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/62e44c867a2846fefb68bd5f178daf4da3095ccb/Documentation/kube-flannel.yml

    八、查看集群状态

    kubectl get nodes
    master1   Ready      master   4h41m   v1.14.3
    master2   Ready      <none>   4h36m   v1.14.3
    master3   Ready      master   4h50m   v1.14.3
    worker1   Ready      master   4h39m   v1.14.3

后续继续补充,mark!

以上是关于kubernetes v1.14.3 HA集群安装的主要内容,如果未能解决你的问题,请参考以下文章

快速搭建kubernetes高可用集群(3master+3worker+负载均衡)

使用kubeadm布署k8s集群v1.14.3 so easy !

Rancher 2.2.2 - HA 部署高可用k8s集群

温柔一刀,优雅且彻底地卸载Rancher HA

温柔一刀,优雅且彻底地卸载Rancher HA

kubernetes 的master节点挂了对整个集群有啥影响