keeplived高可用集群

Posted ppzhang

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了keeplived高可用集群相关的知识,希望对你有一定的参考价值。

什么是Keeplived?

  Keepalived是Linux下面实现VRRP备份路由的高可靠性运行件。基于Keepalived设计的服务模式能够真正做到主服务器和备份服务器故障时IP瞬间无缝交接。二者结合,可以构架出比较稳定的软件LB方案。

  简单点说,就是keepalived可以将下面这种简单的负载均衡模式

 

Keeplived的作用?

  1、监控检查

     a. keepalive的作用是检测web服务器的状态,如果一台web服务器宕机,会将故障机器从集群中剔除

     b. keepalieve会从以下三层来检查集群中的服务是否正常:

        1)layer3:通过ICMP协议ping测试

        2)layer4:比如web服务,keepalived检查80端口是否启动

        3)layer7:根据用户的设定检查服务器程序运行是否正常

  2、VRRP冗余协议

    vrrp是虚拟路由冗余协议,就是当出现单点故障问题通过竞选方式决定vip走向的一种机制

      1. Keepalived高可用是通过vrrp协议通信的,vrrp是通过竞选机制决定主备

        2. Keepalived 主的服务器会一直发送 VRRP广播包,告诉备机它还活着

      3. 当备机监听不到主发送的广播包时,就认为主机不可用,所有备机通过配置文件中的优先级选举新的主机

      4. 新的主机就会启动相关服务接管资源,保证业务的连续性

使用docker-compose配置keepalive

1、环境说明(这里借用compose测试)

‘‘‘环境中只需要一台虚拟机,然后使用docker-compose来启动三个docker容器模拟 haproxy、keepalive-master、keepalive-slave ‘‘‘
# haproxy: 0.0.0.0:8000 (在docker-compose网络中映射宿主机的8000端口到haproxy)
# keepalive-master: 172.20.128.2(VIP:172.20.128.4:80)
# keepalive-slave: 172.20.128.3 (VIP:172.20.128.4:80)

2、部署keepalive项目代码

技术图片
version: "3"
services:
  nginx_master:
    build:
      context: ./
      dockerfile: ./Dockerfile
    volumes:
      - ./index-master.html:/usr/share/nginx/html/index.html
      - ./favicon.ico:/usr/share/nginx/html/favicon.ico
      - ./keepalived-master.conf:/etc/keepalived/keepalived.conf
    networks:
      static-network:
        ipv4_address: 172.20.128.2
    cap_add: 
      - NET_ADMIN
  nginx_slave:
    build:
      context: ./
      dockerfile: ./Dockerfile
    volumes:
      - ./index-slave.html:/usr/share/nginx/html/index.html
      - ./favicon.ico:/usr/share/nginx/html/favicon.ico
      - ./keepalived-slave.conf:/etc/keepalived/keepalived.conf
    networks:
      static-network:
        ipv4_address: 172.20.128.3
    cap_add: 
        - NET_ADMIN
  proxy:
    image: haproxy:1.7-alpine
    ports:
      - 8000:6301
    volumes:
      - ./haproxy.cfg:/usr/local/etc/haproxy/haproxy.cfg
    networks:
      - static-network

networks:
  static-network:
    ipam:
      config:
        - subnet: 172.20.0.0/16
docker-compose.yml
技术图片
# 使用的基础镜像源(alpine是精简的Linux内核)
FROM nginx:1.13.5-alpine
# 更新最新本地镜像源  && 升级软件
RUN apk update && apk upgrade
# 安装keepalived等相关软件
RUN apk add --no-cache bash curl ipvsadm iproute2 openrc keepalived &&     rm -f /var/cache/apk/* /tmp/*
# 将nginx和keepalive启动脚本从宿主机拷贝到docker容器中
COPY entrypoint.sh /entrypoint.sh
# 给启动脚本添加权限
RUN chmod +x /entrypoint.sh
# 启动服务
CMD ["/entrypoint.sh"]
Dockerfile
技术图片
# vrrp_script区域主要用来做健康检查的,当时检查失败时会将vrrp_instance的priority减少相应的值
vrrp_script chk_nginx {
    script "pidof nginx"
    interval 2
}

# 设置外网的VIP(虚拟ip)
vrrp_instance VI_1 {
    # 可以是MASTER或BACKUP,不过当其他节点keepalived启动时会将priority比较大的节点选举为MASTER
    state MASTER
    # 对外提供服务的网络接口,用来发VRRP包
    interface eth0
    # 取值在0-255之间,用来区分多个instance的VRRP组播, 同一网段中该值不能重复,并且同一个vrrp实例使用唯一的标识
    virtual_router_id 33
    # 用来选举master的,要成为master,那么这个选项的值最好高于其他机器50个点,该项取值范围是1-255(在此范围之外会被识别成默认值100)
    priority 200
    # 发VRRP包的时间间隔,即多久进行一次master选举,可以认为是健康查检时间间隔,单位为秒
    advert_int 1
    # 表示发送VRRP单播报文使用的源IP地址,当前keepalive真实ip
    unicast_src_ip 172.20.128.2
    # 表示对端接收VRRP单播报文的IP地址(防止上游交换机禁用广播)
    unicast_peer {
        172.20.128.3
    }
    
    authentication {
        # 定义认证类型
        auth_type PASS
        # 认证密码  这些相当于暗号
        auth_pass letmein
    }
    # keepalive对外的虚拟地址,访问虚拟地址会访问keepalive的master地址
    virtual_ipaddress {
        172.20.128.4/24 dev eth0
    }
    # track_script用于追踪脚本,用以实现某个检测功能
    track_script {
        chk_nginx
    }
}

# 配置keepalive
virtual_server 172.20.128.2 80 {
    delay_loop 15
    lb_algo rr
    lb_kind DR
    nat_mask 255.255.255.0
    persistence_timeout 50
    protocol TCP

    # keepalive代理的真实服务ip
    real_server 172.16.16.177 80 {
         weight 1
        TCP_CHECK {
            connect_port 80
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 4
        }
    }
    # keepalive代理的真实服务ip
    real_server 172.16.16.178 80 {
        weight 1
        TCP_CHECK {
            connect_port 80
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 4

        }
    }
}
keepalived-master.conf
技术图片
vrrp_script chk_nginx {
    script "pidof nginx"
    interval 2
}

vrrp_instance VI_1 {
    state BACKUP
    interface eth0
    virtual_router_id 33
    priority 100
    advert_int 1
    unicast_src_ip 172.20.128.3
    unicast_peer {
        172.20.128.2
    }
    
    authentication {
        auth_type PASS
        auth_pass letmein
    }
    
    virtual_ipaddress {
        172.20.128.4/24 dev eth0
    }
    
    track_script {
        chk_nginx
    }
}
keepalived-slave.conf
技术图片
# global常用配置项
global
    # haproxy默认没有记录日志的文件,需要依赖rsyslog收集,具体方法,首先在配置文件的global段添加一条配置项
    log 127.0.0.1 local0
    # 最大并发连接数;默认为2000
    maxconn 4096
    daemon
    # 要启动的haproxy的进程数量;默认为1个,推荐为1个
    nbproc 4

defaults
    log 127.0.0.1 local3
    mode http
    option dontlognull
    option redispatch
    retries 2
    maxconn 2000
    balance roundrobin
    timeout connect 5000ms
    timeout client 5000ms
    timeout server 5000ms

# frontend部署前端服务,负责给用户请求一个接口
frontend main
    # 监听本docker容器中所有访问6301端口的请求
    # 监听端口,即haproxy提供web服务的端口,和lvs的vip端口类似
    bind *:6301
    # 定义一个服务器组 http_back
    default_backend webserver

# backend可以定义后端一组服务器
backend webserver
    server ngxin_master 172.20.128.4:80 check inter 2000 rise 2 fall 5
# 具体流程就是当frontend接受到用户请求,根据我们的配置交给指定的backend处理请求,backend再将请求分发到真正的后端服务器
haproxy.cfg

 

技术图片
#!/bin/sh

/usr/sbin/keepalived -n -l -D -f /etc/keepalived/keepalived.conf --dont-fork --log-console &

nginx -g "daemon off;"
entrypoint.sh keepalive启动脚本
技术图片
<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <meta name="viewport" content="width=device-width, initial-scale=1.0">
    <meta http-equiv="X-UA-Compatible" content="ie=edge">
    <title>主机</title>
<style>

#box{ 
    margin: 0px auto;
    font-family: Times New Roman, Times, serif; 
    font-size: 30px;
    font-style: initial;
    color: aliceblue;
    }

body{
    background-color: black
}

</style>
</head>
<body>

    <div id="box">

        主机

    </div>
    
</body>
</html>
index-master.html
技术图片
<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <meta name="viewport" content="width=device-width, initial-scale=1.0">
    <meta http-equiv="X-UA-Compatible" content="ie=edge">
    <title>从机</title>
<style>

#box{ 
    margin: 0px auto;
    font-family: Times New Roman, Times, serif; 
    font-size: 30px;
    font-style: initial;
    color: aliceblue;
    }

body{
    background-color: black
}

</style>
</head>
<body>

    <div id="box">

        从机

    </div>
    
</body>
</html>
index-slave.html

 

3、测试keepalive

  1)使用docker-compose开启keepalive集群

[root@linux-node4 nginx_keepalive]# docker-compose up       # 使用docker-compose部署keepalive(是在交互窗口运行的)
[root@linux-node4 nginx_keepalive]# docker ps               # 部署完成后新打开一个终端查看运行状态
CONTAINER ID        IMAGE                         PORTS                    NAMES
8fc6f148f02d        nginx_keepalive_nginx_master  80/tcp                   nginx_keepalive_nginx_master_1
5c94af00a93e        nginx_keepalive_nginx_slave   80/tcp                   nginx_keepalive_nginx_slave_1
93afe48d9b86        haproxy:1.7-alpine            0.0.0.0:8000->6301/tcp   nginx_keepalive_proxy_1

技术图片

 

   2)关闭keepalive-master模拟机器故障测试自动切换

[root@linux-node4 compose_lnmp]# docker stop nginx_keepalive_nginx_master_1     # 关闭keepalive-master模拟机器故障
[root@linux-node4 compose_lnmp]# docker ps                                      # 取到keepalive-master已经关闭
CONTAINER ID        IMAGE                        PORTS                    NAMES
c21d0edda6d3        nginx_keepalive_nginx_slave  80/tcp                   nginx_keepalive_nginx_slave_1
ab283ebcfaf1        haproxy:1.7-alpine           0.0.0.0:8000->6301/tcp   nginx_keepalive_proxy_1
[root@linux-node4 nginx_keepalive]# docker rm -f $( docker ps -a | grep keepalive |awk ‘{print $1}‘)   # 如果要停用最好删除创建的docker镜像

技术图片

 

   3)项目地址

    https://gitee.com/xiaonq110/nginx_keepalive.git

 

以上是关于keeplived高可用集群的主要内容,如果未能解决你的问题,请参考以下文章

Keepalived 高可用服务

Linux高可用负载均衡 集群理解

通过keepalived搭建lvs高可用集群

集群------LVS+Keepalived高可用负载均衡群集

Redis+Keeplived实现高可用

Centos7+Lvs+keeplived实现Apache高可用的负载均衡