Linux高性能负载均衡HAProxy配置详解

Posted 2021-06-30 白-胖-子

HAProxy 配置文件

• HAProxy 的配置文件haproxy.cfg由两大部分组成，分别是global和proxies部分

global：全局配置段

• 进程及安全配置相关的参数
• 性能调整相关参数
• Debug参数

global 配置参数说明

chroot #锁定运行目录
deamon #以守护进程运行
#定义socket文件
stats socket /var/lib/haproxy/haproxy.sock mode 600 level admin process 1 
user, group, uid, gid #运行haproxy的用户身份
#开启的haproxy worker 进程数，默认进程数是一个
#nbproc 4 # 可以不写，不写默认为1，建议设成CPU个数 

#cpu-map 1 0 #绑定haproxy worker 进程至指定CPU，将第1个work进程绑定至0号CPU
#cpu-map 2 1 #绑定haproxy worker 进程至指定CPU，将第2个work进程绑定至1号CPU

#指定每个haproxy进程开启的线程数，默认为每个进程一个线程
#nbthread 1
maxconn n #每个haproxy进程的最大并发连接数
maxsslconn n #每个haproxy进程ssl最大连接数,用于haproxy配置了证书的场景下
maxconnrate n #每个进程每秒创建的最大连接数量
spread-checks n #后端server状态check随机提前或延迟百分比时间，建议2-5(20%-50%)之间，默认值0
pidfile #指定pid文件路径
log 127.0.0.1 local2 info #定义全局的syslog服务器；日志服务器需要开启UDP协议，最多可以定义两个

proxies：代理配置段

• defaults：为frontend, backend, listen提供默认配置
• frontend：前端，相当于nginx中的server {}
• backend：后端，相当于nginx中的upstream {}
• listen：同时拥有前端和后端配置,配置简单,生产推荐使用

proxies 配置参数说明

• name字段只能使用大小写字母，数字，‘-’(dash)，’_‘(underscore)，’.’ (dot)和 ‘:’(colon)，
• 严格区分大小写

defaults [<name>] #默认配置项，针对以下的frontend、backend和listen生效，可以多个name也可以没有name
frontend <name> #前端servername，类似于Nginx的一个虚拟主机 server和LVS服务集群。
backend <name> #后端服务器组，等于nginx的upstream和LVS中的RS服务器
listen <name> #将frontend和backend合并在一起配置，相对于frontend和backend配置更简洁，生产常用

Proxies配置-defaults

• defaults 配置参数：

option redispatch #当server Id对应的服务器挂掉后，强制定向到其他健康的服务器，重新派发
option abortonclose #当服务器负载很高时，自动结束掉当前队列处理比较久的连接，针对业务情况选择开启
option http-keep-alive #开启与客户端的会话保持
option forwardfor #透传客户端真实IP至后端web服务器
mode http|tcp #设置默认工作类型,使用TCP服务器性能更好，减少压力
timeout http-keep-alive 120s #session 会话保持超时时间，此时间段内会转发到相同的后端服务器
timeout connect 120s #客户端请求从haproxy到后端server最长连接等待时间(TCP连接之前)，默认单位ms
timeout server 600s #客户端请求从haproxy到后端服务端的请求处理超时时长(TCP连接之后)，默认单位ms，如果超时，会出现502错误，此值建议设置较大些，访止502错误
timeout client 600s #设置haproxy与客户端的最长非活动时间，默认单位ms，建议和timeoutserver相同
timeout check 5s #对后端服务器的默认检测超时时间

• 指定后端服务器的默认设置,写在listen中或者backend中
  default-server inter 1000 weight 3
• inter 调度限制最大连接数 weight 默认权重

Proxies配置-frontend 配置反向代理主机组前端规则

• frontend 段配置定义了反向代理和负载均衡的规则
• frontend 配置参数：

bind： #指定HAProxy的监听地址，可以是IPV4或IPV6，可以同时监听多个IP或端口，可同时用于listen字段中
backlog <backlog> #针对所有server配置,当前端服务器的连接数达到上限后的后援队列长度，注意：不支持backend

注意：如果需要绑定在非本机的IP，需要开启内核参数：net.ipv4.ip_nonlocal_bind=1

• bind 格式
  bind [<address>]:<port_range> [, ...] [param*]
• frontend 范例
• 多个值使用逗号,进行分割

frontend sun_web_port #建议采用命名格式：业务-服务-端口号
    bind :80,:8080
    bind 10.0.0.7:10080,:8801-8810,10.0.0.17:9001-9010
    mode http|tcp #指定负载协议类型
    use_backend <backend_name> #调用的后端服务器组名称

Proxies配置-backend 配置反向代理主机组后端规则和成员

• 定义一组后端服务器，backend服务器将被frontend进行调用。
• backend 的名称必须唯一,并且必须在listen或frontend中事先定义才可以使用,否则服务无法启动
• backend 配置参数

mode http|tcp #指定负载协议类型,和对应的frontend必须一致
option httpchk|mtpchk|mysql-check|pgsql-check|ssl-hello-chk #实现更多应用层检测功能。
server #定义后端real server,必须指定IP和端口

• server 配置,针对后端独立server的配置

check #对指定real进行健康状态检查，如果不加此设置，默认不开启检查,只有check后面没有其它配置也可以启用检查功能
#默认对相应的后端服务器IP和端口,利用TCP连接进行周期性健康性检查,注意必须指定端口才能实现健康性检查
addr <IP> #可指定的健康状态监测IP，可以是专门的数据网段，减少业务网络的流量
port <num> #指定的健康状态监测端口
inter <num> #健康状态检查间隔时间，默认2000 ms
fall <num> #后端服务器从线上转为线下的检查的连续失效次数，默认为3
rise <num> #后端服务器从下线恢复上线的检查的连续有效次数，默认为2
weight <weight> #默认为1，最大值为256，0(状态为蓝色)表示不参与负载均衡，但仍接受持久连接
backup #将后端服务器标记为备份状态,只在所有非备份主机down机时提供服务，类似Sorry Server
disabled #将后端服务器标记为不可用状态，即维护状态，除了持久模式，将不再接受连接,状态为深黄色,优雅下线,不再接受新用户的请求
redirect prefix http://www.sun.co/ #将请求临时(302)重定向至其它URL，只适用于http模式
redir http://www.sun.co #将请求临时(302)重定向至其它URL，只适用于http模式
maxconn <maxconn> #当前后端server的最大并发连接数

Proxies配置-frontend+backend 实现反向代理主机组

# 业务主入口
frontend WEB_PORT_80
    bind 10.0.0.8:80
    mode http
    use_backend web_prot_http_nodes
    backend web_prot_http_nodes
    mode http
    option forwardfor
    server NS1 10.0.0.18:8080 check inter 3000 fall 3 rise 5
    server NS2 10.0.0.28:8080 check inter 3000 fall 3 rise 5
frontend sun_WebS1_http
    bind :80,:8080
    mode tcp
    use_backend sun_WebS1_http_nodes
backend sun_WebS1_http_nodes
    mode tcp
    default-server inter 1000 weight 6
    server web1 10.0.0.19:80 weight 2 check addr 10.0.0.119 port 8080
    server web1 10.0.0.29:80 weight 1 check addr 10.0.0.129 port 8080

Proxies配置-listen 实现反向代理主机组

• 使用listen替换 frontend和backend的配置方式，可以简化设置，通常只用于TCP协议的应用

#业务访问入口
listen WEB_PORT_80
    bind 10.0.0.7:80
    mode http
    option forwardfor
    server web1 10.0.0.17:8080 check inter 3000 fall 3 rise 5
    server web2 10.0.0.27:8080 check inter 3000 fall 3 rise 5

• listen配合bind 范例

listen http_proxy #监听http的多个IP的多个端口和sock文件
    bind :80,:443,:8801-8810
    bind 10.0.0.1:10080,10.0.0.1:10443
    bind /var/run/ssl-frontend.sock user root mode 600 accept-proxy
listen http_https_proxy #https监听
    bind :80
    bind :443 ssl crt /etc/haproxy/site.pem #公钥和私钥公共文件
listen http_https_proxy_explicit #监听ipv6、ipv4和unix sock文件
    bind ipv6@:80
    bind ipv4@public_ssl:443 ssl crt /etc/haproxy/site.pem
    bind [e-mail] user root mode 600 accept-proxy
listen external_bind_app1 #监听file descriptor
    bind "fd@${FD_APP1}"

HAProxy多进程配置

配置nbproc

nbproc 4

• 在主配置文件中设定全局变量为CPU个数

配置cpu-map

cpu-map 1 0
cpu-map 2 1
cpu-map 3 2
cpu-map 4 3

• 在主配置文件中配置CPU亲缘性绑定
• 每个work进程绑定到指定CPU

配置stats socket

stats socket /var/lib/haproxy/haproxy.sock1 mode 600 level admin process 1
stats socket /var/lib/haproxy/haproxy.sock2 mode 600 level admin process 2
stats socket /var/lib/haproxy/haproxy.sock1 mode 600 level admin process 3
stats socket /var/lib/haproxy/haproxy.sock2 mode 600 level admin process 4

• 为每个work进程生成独立的socket文件，方便管理

多进程和多线程互斥问题

• nbthread多线程和nbproc多进程配置互斥（版本有关,CentOS8的haproxy1.8无此问题）
• 如果同时启用nbproc和nbthread 会出现以下日志的错误，无法启动服务

Apr 7 14:46:23 haproxy haproxy: [ALERT] 097/144623 (1454) : config : cannot
enable multiple processes if multiple threads are configured. 
Please use eithernbproc or nbthread but not both.

HAProxy日志配置

HAProxy日志启用

• HAproxy本身不记录客户端的访问日志.此外为减少服务器负载,一般生产中HAProxy不记录日志.
• 可以配置HAProxy利用rsyslog服务记录日志到指定日志文件中
• 基于syslog记录日志到指定设备，级别有(err、warning、info、debug)，自定义日志有local{1-7}
  local6 info

#在global配置项定义：
log 127.0.0.1 local6 info

#在proxies配置启用日志：
listen web_port
    bind 127.0.0.1:80
    mode http
#开启当前web_port的日志功能，默认不记录日志
    log global 
    server web1 127.0.0.1:8080 check inter 3000 fall 2 rise 5

• 也可以将日志直接记录在远程日志服务器
  log 10.0.0.192 local6 info

Rsyslog配置

• 所在服务器或远程日志服务器配置启用相应的自定义日志
• 编辑/etc/rsyslog.conf，添加自定义日志

local6.* /var/log/haproxy.log

• 重启日志服务器以生效
  systemctl restart rsyslog

调用外部配置文件

• 当业务众多时，将所有配置都放在一个配置文件中，会造成维护困难。
• 按业务分类，将配置信息拆分，放在不同的子配置文件中，方便维护。
• 子配置文件的文件后缀必须为.cfg

创建子配置目录

mkdir /etc/haproxy/conf.d/

创建子配置文件

• 创建并编辑 /etc/haproxy/conf.d/test.cfg

listen WEB_PORT_80
    bind 10.0.0.6:80
    mode http
    balance roundrobin
    server web1 10.0.0.16:80 check inter 3000 fall 2 rise 5
    server web2 10.0.0.26:80 check inter 3000 fall 2 rise 5

添加子配置目录到haproxy服务文件中

• 编辑/lib/systemd/system/haproxy.service

[Unit]
Description=HAProxy Load Balancer
After=syslog.target network.target
[Service]
#修改下面两行
ExecStartPre=/usr/sbin/haproxy -f /etc/haproxy/haproxy.cfg -f /etc/haproxy/conf.d/ -c -q
ExecStart=/usr/sbin/haproxy -Ws -f /etc/haproxy/haproxy.cfg -f /etc/haproxy/conf.d/ -p /var/lib/haproxy/haproxy.pid
ExecReload=/bin/kill -USR2 $MAINPID
[Install]
WantedBy=multi-user.target

重加加载服务并重启服务

systemctl daemon-reload
systemctl restart haproxy