33_linux笔记-LVS
Posted cPen
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了33_linux笔记-LVS相关的知识，希望对你有一定的参考价值。
最近在学习LVS，记录一下
介绍
LVS
Linux Virtual Server Linux虚拟主机 --> 是一个高可用高扩展的软件（负载均衡的软件）
章文嵩是技术专家，也是LVS(Linux Virtual Server，Linux虚拟服务器)开源软件创始人
2016年5月27日，章文嵩出任滴滴出行高级副总裁、负责CTO线基础平台部兼工程技术委员会主席
linux内核里已经内置了lvs软件
四层负载均衡
http://www.linuxvirtualserver.org/zh/
http://www.linuxvirtualserver.org/
http://www.linuxvirtualserver.org/zh/lvs3.html
https://zh.linuxvirtualserver.org/
http://www.linuxvirtualserver.org/zh/lvs4.html
https://blog.csdn.net/lcl_xiaowugui/article/details/81701949
架构
3种调度模式-架构（体系结构）
NAT
修改目的ip和端口，不修改源ip、端口
TUN
DR
NAT
传统的nat
DNAT
缺点：解决不了real server在不同的网段
调度器和real server都在同一个物理局域网里
可以修改目的ip；可以修改目的端口
lvs NAT模式的实验
环境：
1台调度器 --> 2块网卡
ens33：192.168.0.73 --> wan
ens37：192.168.31.10 --> lan
2台real server
server1：192.168.31.20
server2：192.168.31.30
server3：192.168.31.40
[root@LB ~]# cat /etc/sysconfig/network-scripts/ifcfg-ens33
BOOTPROTO="none"
NAME="ens33"
DEVICE="ens33"
ONBOOT="yes"
IPADDR=192.168.0.73
NETMASK=255.255.255.0
GATEWAY=192.168.0.1
DNS1=114.114.114.114
[root@LB ~]# cat /etc/sysconfig/network-scripts/ifcfg-ens37
BOOTPROTO="none"
NAME="ens37"
DEVICE="ens37"
ONBOOT="yes"
IPADDR=192.168.31.10
NETMASK=255.255.255.0
lvs已经安装到linux内核里了，不需要安装
ipvsadm 是一个给lvs软件传递参数和查看相关信息的工具
在调度器上安装ipvsadm这个工具
[root@LB ~]# yum install ipvsadm -y
[root@LB ~]# mkdir /lvs
[root@LB ~]# cd /lvs/
[root@LB lvs]# vim lvs_nat.sh
#!/bin/bash
# director服务器上开启路由转发功能
echo 1 > /proc/sys/net/ipv4/ip_forward
# 配置SNAT策略，让内网的服务器可以上网
iptables -F
iptables -F -t nat
iptables -X -t nat # 自定义规则链
iptables -t nat -A POSTROUTING -s 192.168.31.0/24 -o ens33 -j SNAT --to-source 192.168.0.73
# 清空规则
/usr/sbin/ipvsadm -C
/usr/sbin/ipvsadm -A -t 192.168.0.73:80 -s wrr
/usr/sbin/ipvsadm -a -t 192.168.0.73:80 -r 192.168.31.20:80 -m -w 1
/usr/sbin/ipvsadm -a -t 192.168.0.73:80 -r 192.168.31.30:80 -m -w 1
/usr/sbin/ipvsadm -a -t 192.168.0.73:80 -r 192.168.31.40:80 -m -w 1
-C 清除规则
-A 添加vip和端口 --> 提供服务的ip地址和端口号
-t tcp服务
-s --scheduler scheduling-method 指定调度的方法
wrr 加权论询 weight round robin
-a 添加后端的上游（真实）服务器 Add a real server to a virtual service
-r --real-server server-address 指定real server
-m --masquerading Use masquerading（network access translation，or NAT）
-w --weight weight 权重值
-g --gatewaying Use gatewaying (direct routing). This is the default.
[root@LB lvs]# bash lvs_nat.sh
[root@LB lvs]# iptables -L -t nat
……
Chain POSTROUTING (policy ACCEPT)
target prot opt source destination
SNAT all -- 192.168.31.0/24 anywhere to:192.168.0.73
[root@LB lvs]# ipvsadm -l
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP LB:http wrr
-> 192.168.31.20:http Masq 1 0 0
-> 192.168.31.30:http Masq 1 0 0
-> 192.168.31.40:http Masq 1 0 0
浏览器访问：192.168.0.73 负载均衡到后端real server
# 后端的real server知道外面访问的机器ip地址
[root@nginx-1 ~]# tail -f /usr/local/nginx/logs/access.log
192.168.0.104 - - [04/Jul/2021:01:34:29 +0800] "GET / HTTP/1.1" 304 0 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (Khtml, like Gecko) Chrome/91.0.4472.124 Safari/537.36"
lvs做转发的时候，只修改了数据包里的目的ip，源ip没有动
keepalived + lvs --> NAT模式
keepalived可以直接通过配置文件对lvs进行配置了，不需要ipvsadm去手工配置内网的real server的网关需要填lvs负载均衡器
[root@nginx-1 ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33
BOOTPROTO="none"
NAME="ens33"
DEVICE="ens33"
ONBOOT="yes"
IPADDR=192.168.31.20
NETMASK=255.255.255.0
GATEWAY=192.168.31.10 #注：lvs负载均衡器的内网的ip
DNS1=114.114.114.114
fullNAT
解决了real server可以在不同网络里（不同的vlan），不需要在同一个局域网的问题
DR
DR直接路由
LVS集群中的IP负载均衡技术 http://linuxvirtualserver.org/zh/lvs3.html
LVS之DR模式原理与实践 https://blog.51cto.com/u_13599730/2312603
负载均衡器：调度器、director、LB、load balancer、反向代理服务器
lvs的DR模式：通过直连路由实现虚拟服务器（VS/DR）
DR：direct route 直接路由
NAT：network address transfer
效果的问题：
DR --> NAT --> FULLNAT
# 在dr上需要做的事情
1 .添加vip地址在ens33接口上
[root@LB lvs]# ip add add 192.168.0.88/24 dev ens33
2 .给lvs配置调度策略和real server的配置
[root@LB lvs]# vim lvs_dr.sh
#!/bin/bash
# director服务器上开启路由转发功能
echo 1 > /proc/sys/net/ipv4/ip_forward
# 配置SNAT策略，让内网的服务器可以上网
iptables -F -t nat
iptables -X -t nat
# 清空lvs里的规则
/usr/sbin/ipvsadm -c
# 添加lvs的规则
/usr/sbin/ipvsadm -A -t 192.168.0.88:80 -s wrr
/usr/sbin/ipvsadm -a -t 192.168.0.88:80 -r 192.168.0.20:80 -g -w 1
/usr/sbin/ipvsadm -a -t 192.168.0.88:80 -r 192.168.0.30:80 -g -w 1
/usr/sbin/ipvsadm -a -t 192.168.0.88:80 -r 192.168.0.40:80 -g -w 1
# -g --gatewaying Use gatewaying (direct routing). This is the default. 指定调度策略为DR模式
[root@LB lvs]# bash lvs_dr.sh # 执行脚本
[root@LB lvs]# ipvsadm # 查看lvs的策略
# real server上的配置
1 .配置vip地址
在lo接口上配置
[root@nginx-1 ~]# yum install net-tools -y
[root@nginx-1 ~]# ifconfig lo:0 192.168.0.88 netmask 255.255.255.255 broadcast 192.168.0.88 up
[root@nginx-1 ~]# /sbin/route add -host 192.168.0.88 dev lo:0
#注：就是告诉real server自己有192.168.0.188 vip地址 在lo:0这个接口上，而且告诉你如何到这个ip地址
[root@nginx-1 ~]# ip route
default via 192.168.31.10 dev ens33 proto static metric 100
192.168.0.88 dev lo scope link src 192.168.0.88
2 .禁止real server响应vip的arp广播，同时不向外宣告vip的mac地址 --> arp毒化
announce宣告
[root@nginx-1 ~]# echo "1" > /proc/sys/net/ipv4/conf/all/arp_ignore #注：让ens33不要响应vip的arp广播 装聋
[root@nginx-1 ~]# echo "1" > /proc/sys/net/ipv4/conf/lo/arp_ignore
[root@nginx-1 ~]# echo "2" > /proc/sys/net/ipv4/conf/all/arp_announce #注：装哑 不告诉其他的机器我的ip地址，不向外发arp广播，宣告自己ip地址对应的mac地址
[root@nginx-1 ~]# echo "2" > /proc/sys/net/ipv4/conf/lo/arp_announce
3 .配置网关为路由器的lan口地址
real server上配置网关为路由器的lan口地址
[root@nginx-1 ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33
BOOTPROTO="none"
NAME="ens33"
DEVICE="ens33"
ONBOOT="yes"
IPADDR=192.168.31.20
GATEWAY=192.168.31.10
Linux内核参数arp_ignore和arp_announce作用说明
arp_ignore - INTEGER
0：默认值，表示可使用本地任意接口上配置的任意地址进行arp应答
1：仅当请求的目标IP配置在本地主机接受到报文的接口上时，才给予响应
2：仅当目的IP配置在收到报文的接口上，且arp请求的源IP和该接口同一网段，才响应arp请求
3：如ARP请求的IP作用域是主机则不响应，如果作用域是全局或者链路则响应ARP
4-7：保留
8：不应答所有本地IP
arp_announce - INTEGER
0：默认值，允许使用本机上所有接口的IP作ARP通告
1：尽量避免使用本地IP向非本网卡直接连接网络进行ARP通告
2：必须避免使用本地IP向非本网卡直接连接网络进行ARP通告
调度算法
8种调度算法
在内核中的连接调度算法上，IPVS已实现了以下八种调度算法：
轮叫调度（Round-Robin Scheduling）
加权轮叫调度（Weighted Round-Robin Scheduling）
最小连接调度（Least-Connection Scheduling）
加权最小连接调度（Weighted Least-Connection Scheduling）
基于局部性的最少链接（Locality-Based Least Connections Scheduling）
带复制的基于局部性最少链接（Locality-Based Least Connections with Replication Scheduling）
目标地址散列调度（Destination Hashing Scheduling）
源地址散列调度（Source Hashing Scheduling）
keepalived + nginx + lvs
方案1：
高可用：keepalived
负载均衡：nginx方案2：
高可用：keepalived
负载均衡：lvs
master和backup上都要开启路由功能
real server需要填写2个默认网关
keepalived的配置文件里写好了给lvs传递的参数，不需要使用ipvsadm命令去传参
[root@LB-1 ~]# vim /etc/keepalived/keepalived.conf
! Configuration File for keepalived
global_defs
notification_email
acassen@firewall.loc
failover@firewall.loc
sysadmin@firewall.loc
notification_email_from Alexandre.Cassen@firewall.loc
smtp_server 192.168.200.1
smtp_connect_timeout 30
router_id LVS_DEVEL
vrrp_skip_check_adv_addr
#vrrp_strict
vrrp_garp_interval 0
vrrp_gna_interval 0
vrrp_instance VI_1
state MASTER
interface ens33
virtual_router_id 158
priority 180
advert_int 1
authentication
auth_type PASS
auth_pass 1111
virtual_ipaddress
192.168.0.188
virtual_server 192.168.0.188 80 # 知道vip和对应的端口号
delay_loop 6
lb_algo rr # load balancer algorithm 负载均衡的算法 rr 论询 wrr加权论询
lb_kind NAT # lvs负载均衡的模式是NAT
persistence_timeout 50 # 连接超时的时间
protocol TCP # 支持的协议是tcp
real_server 192.168.30.2 80 # 后端的real server的ip和端口
weight 1 # 权重
real_server 192.168.30.3 80
weight 1
real_server 192.168.30.4 80
weight 1
[root@LB-2 ~]# vim /etc/keepalived/keepalived.conf
! Configuration File for keepalived
global_defs
notification_email
acassen@firewall.loc
failover@firewall.loc
sysadmin@firewall.loc
notification_email_from Alexandre.Cassen@firewall.loc
smtp_server 192.168.200.1
smtp_connect_timeout 30
router_id LVS_DEVEL
vrrp_skip_check_adv_addr
#vrrp_strict
vrrp_garp_interval 0
vrrp_gna_interval 0
vrrp_instance VI_1
state BACKUP
interface ens33
virtual_router_id 158
priority 100
advert_int 1
authentication
auth_type PASS
auth_pass 1111
virtual_ipaddress
192.168.0.188
virtual_server 192.168.0.188 80 # 知道vip和对应的端口号
delay_loop 6
lb_algo rr # load balancer algorithm 负载均衡的算法 rr 论询 wrr加权论询
lb_kind NAT # lvs负载均衡的模式是NAT
persistence_timeout 50 # 连接超时的时间
protocol TCP # 支持的协议是tcp
real_server 192.168.30.2 80 # 后端的real server的ip和端口
weight 1 # 权重
real_server 192.168.30.3 80
weight 1
real_server 192.168.30.4 80
weight 1
[root@LB-1 ~]# service keepalived restart
[root@LB-1 ~]# ipvsadm -l
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP LB:http rr persistent 50
-> 192.168.30.2:http Masq 1 0 0
-> 192.168.30.3:http Masq 1 0 0
-> 192.168.30.4:http Masq 1 0 0
Chrome浏览器访问 192.168.0.188 rr论询策略
以上是关于33_linux笔记-LVS的主要内容，如果未能解决你的问题，请参考以下文章