lvs集群基础及lvs-natdrfwm实践

Posted 2020-11-20

集群基础知识点：

集群类型：LB、HA、HP、DS

LB：load balance，负载均衡集群，director：负载均衡器或者调度器，上游服务（upstream server），后端服务器称为real server；

HA：high avalilability,高可用集群，评估高可用性能Availability = 平均无故障时间/（平均无故障时间+平均修复时间）  

HP：high performance 超级计算机类型

LB集群的实现：硬件、软件（lvs: Linux Virtual Server、haproxy、nginx、ats (apache traffic server)、perlbal、

       基于工作的协议层次划分：

  传输层：(工作于内核)可以突破socket 可用端口的限制一共6W多个；lvs, haproxy (mode tcp)

  应用层：（用户空间）：haproxy (mode http), nginx, ats, perlbal 

lvs的实现基于传输层：类型有四种nat、dr(direct routing)、tun、fullnat

lvs-nat：多目标的DNAT：通过将请求报文的目标地址和目标端口修改为挑选出某RS的RIP和PORT来实现；

(1) RIP和DIP应该使用私网地址，RS的网络应该指向DIP；

(2) 请求和响应报文都要经由director转发；极高负载的场景中，Director可能会成为系统瓶颈；

(3) 支持端口映射；

(4) VS必须为Linux，RS可以是任意的OS；

(5) RS的RIP与Director的DIP必须在同一IP网络；

lvs-dr：direct routing通过修改请求报文的MAC地址进行转发；IP首部不会发生变化（源IP为CIP，目标IP始终为VIP）；

(1) 确保前端路由器将目标IP为VIP的请求报文一定会发送给Director；

解决方案：

静态绑定；在路由器上静态绑定VIP和director的Mac地址,禁止RS响应VIP的ARP请求；

    (a) arptables； 

    (b) 修改各RS的内核参数，并把VIP配置在特定的接口上实现禁止其响应；

(2) RS的RIP可以使用私有地址，也可以使用公网地址；

(3) RS跟Director必须在同一物理网络中；

(4) 请求报文必须由Director调度，但响应报文必须不能经由Director；

(5) 不支持端口映射；

(6) 各RS可以使用大多数的OS；

lvs-tun：ip tunneling，ip隧道；转发方式：不修改请求报文的IP首部（源IP为CIP，目标IP为VIP），而是在原有的IP首部这外

                再次封装一个IP首部（源IP为DIP，目标IP为RIP）；

(1) RIP，DIP，VIP全得是公网地址；

(2) RS的网关不能也不可能指向DIP；

(3) 请求报文经由Director调度，但响应报文将直接发给CIP；

(4) 不支持端口映射；

(5) RS的OS必须支持IP隧道功能；

lvs-fullnat：（非标准模型）通过同时修改请求报文的源IP地址（cip-->dip）和目标IP地址（vip --> rip）实现转发；

(1) VIP是公网地址；RIP和DIP是私网地址，且可以不在同一IP网络中，但需要通过路由互相通信；

(2) RS收到的请求报文的源IP为DIP，因此其响应报文将发送给DIP；

(3) 请求报文和响应报文都必须经由director；

(4) 支持端口映射；

(5) RS可使用任意OS；

集群服务管理命令：需要检查内核是否支持ipvs:grep -A 11 -i 'IPVS' /boot/config-3.10.0-327.el7.x86_64 

安装服务程序：yum install -y ipvsadm 

ipvsadm命令的用法： （大写用于服务，小写用于RS）

管理集群服务命令：

ipvsadm  -A|E  -t|u|f  service-address  [-s scheduler]  [-p [timeout]]

ipvsadm  -D  -t|u|f service-address

-A：添加

-E：修改

-D：删除

service-address：

-t, tcp, vip:port 

-u, udp, vip:port

-f, fwm, MARK  Firewalls mask

-s scheduler：默认为wlc；加权最少连接

管理real server命令：

ipvsadm -a|e  -t|u|f service-address -r server-address [-g|i|m] [-w weight]

ipvsadm -d -t|u|f service-address -r server-address

-a：添加一个RS

-e：修改一个RS  修改属性，修改IP地址要先删除再添加

-d：删除一个RS  

-r server-address：RS地址 rip[:port]

-g：GATEWAY （默认） dr模型

-i: IPIP             tun隧道模型

-m: MASQUERADE       nat模型

查看命令：

ipvsadm -L|l [options]

-n：numeric，数字格式显示地址和端口，名称解析

-c：connection，显示ipvs连接；

--stats：统计数据；

--rate：速率

--exact：精确值

清空规则：ipvsadm  -C

规则保存和重载：

      保存：ipvsadm -S  > /PATH/TO/SOME_RULE_FILE

ipvsadm-save  > /PATH/TO/SOME_RULE_FILE

若重启生效：保存至默认路径/etc/sysconfig/ipvsadm

                ipvsadm-save > /etc/sysconfig/ipvsadm

       开机生效：systemctl enable ipvsadm

       重载：ipvsadm  -R < /PATH/FROM/SOME_RULE_FILE

         ipvsadm-restore < /PATH/FROM/SOME_RULE_FILE

lvs-nat

实验环境：centos7x86虚拟机

nat模型

搭建环境配置

1、director核心转发功能设置，打开核心转发功能：两个网卡间，若永久有效编辑配置文件

vim /etc/sysctl.d/*conf 添加net.iPv4.ip_forward=1

确保RS网关指向director内网地址（内网基于host-only通信），测试是否能通信：

2、配置RSweb服务启动

3、director请求服务是否正常

4、director添加集群服务规则

5、lvs集群实现调度的效果

总结要点：

1.DIP与RIP要在同一网段，RIP网关指向dip

2.支持端口映射

3.是否用到共享存储  取决于业务要求：

lvs-dr

    在各主机director，RS均需要配置VIP，因此，要解决地址冲突问题，目标是让各个RS上的VIP不可见，

    仅用接收目标地址为VIP报文，同时又可以作为响应报文的源地址；

方案：1.在前端的网关接口上静态绑定

          2.在RS上使用arptables

          3.在各RS上修改内核参数，来限制arp响应和通告；

限制响应级别：arp_ignore

       0:使用本地任意接口上配置地址进行响应；

       1:仅在请求的目标IP配置在本地主机的接入报文的接口上时，才给予响应；

限制通告级别：arp_announce

       0:默认，把本机所有接口向每一个接口通告；

       1:尽量避免向本网络通告

       2:总是避免；

模型：

调整网络director、rs在同一网络192.168.1，配置IP、vip

配置director添加vip方法：

1.IP addr add命令实现

2.ifconfig interface:alias ip netmask方法：

3.rs-vip配置并设置内核参数

4.给director添加集群服务规则

5.通过本地访问服务：

设计要点：

（1）：各主机一个接口即可，但需要在同一网络

（2）：rip的网关不能指向dip；rip和dip通常应该在同一 网段，但二者未必会与VIP在同一网段；

（3）：各rs需先设置内核参数，在设置VIP和路由

fwm：在netfilter上实现给报文打记；mangle 需要在PREROUTNG链上打标，mangle可用于所有的链上

ipvsadm -A|E -t|u|f service-address [-s scheduler]  [-p [timeout]] 

-t, -u: service-address

ip:port

-f: service-address

firewall mark $

基于fwm定义集群服务的步骤：

(1) 打标

# iptables -t mangle -A PREROUTING -d $vip -p $protocol --dport $serviceport -j MARK --set-mark #

mangle：

target: MARK

--set-mark value[/mask]16进制整数

可以实现多个端口标记：-m multiport 

(2) 定义集群服务

# ipvsadm -A -f # [-s scheduler] [-p [timeout]] 默认300s

(3) 定义real server

lvs persistence：持久连接

功能：无论ipvs使用何种scheduler，其都能够实现在指定时间范围内始终将来自同一个ip地址的请求发往同一个RS；此功能是通过lvs持久连接模板实现，其与调度方法无关；

ipvs持久连接的模式：

每端口持久（PPC）:per port,一个server可以有多个集群服务指向的端口不一80,8080,只对单个服务集群持久

每客户端持久（PCC）：定义tcp或udp协议的0号端口为集群服务端口；对所有服务进行持久,无论访问任何访问，都是同一台服务主机

每FWM持久（PFWMC）：只对同一防火墙标记进行持久如http, https绑定

eg：pfwmc   https ca

iptables -t mangle -A PREROUTING -d 192.168.1.111 -p tcp -m multiport --dport 80,443 -j MARK --set-mark 10

ipvsadm -A -f 10 -s rr -p                               

ipvsadm -a -f 10 -r 192.168.1.201 -g

ipvsadm -a -f 10 -r 192.168.1.202 -g

pcc: 没有添加iptables打标记

ipvsadm -A -t 192.168.1.200:0 -s rr -p 

ipvsadm -a -t 192.168.1.200:0 -r 192.168.1.201 -g -w 1

ipvsadm -a -t 192.168.1.200:0 -r 192.168.1.202 -g -w 2