lvs+srs(dr模型)

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了lvs+srs(dr模型)相关的知识,希望对你有一定的参考价值。

参考:

https://my.oschina.net/fengjihu/blog/416883 (srs集群模式)

http://blog.csdn.net/reblue520/article/details/50857078 (lvs负载均衡)

http://www.cnblogs.com/lgfeng/archive/2012/10/16/2726308.html (arp_ignore和arp_announce)

http://www.linuxvirtualserver.org/docs/arp.html (lvs arp问题)

http://www.linuxvirtualserver.org/VS-DRouting.html (lvs dr模式)

目的:

通过lvs推流到多个流服务器以缓解服务器压力,利用边缘服务器的功能可以访问到所有流,又可以节约带宽,因为是直播,所以推过来的流都是不同ip的,所以可以利用lvs hash ip的功能将同一流的包转发到同一流服务器,这样就解决了流的存放问题。

lvs dr模式原理简介:

技术分享

    在dr模式下,director、real server和vip都在同一网段中,这就带来了几个问题:

1.在此模式下,vip接收到的请求不能简单地通过转发给real server,因为当请求过来的时候,如果简单地转发,因为三台都能连外网,所以转发的时候real server会直接回复给请求方,而请求方收到ip,发现不是自己请求的会丢弃。

    所以,每个real server上面都绑定了vip,当收到vip来的请求包的时候,real server 用vip作为源地址回复。


2.我们解决了1的问题,但是这又带来了新的问题:director和real server都有vip,而且在同一网段中,所以vip请求到来的时候,网关会广播请求,所以不管是director还是realserver他们都会收到请求,假设我们director先收到了,它是怎么进行负载均衡调度的呢?

    利用ip是不行的,如果用realserver的真实ip,那么就会回到1的问题上去,所以只能用vip作为目的ip。事实上,dr模式下,lvs是根据mac地址来进行负载均衡调度的,因为每台的mac地址都不同,所以只有对应mac的rs(realserver简写,懒得打)会收到请求,并且因为自己确实有vip,所以能响应请求。 


3.那么,我们又怎么确保director第一个收到呢?在同一网段中,每台服务器都会收到vip请求广播包,我们怎么保证rs既能响应这些请求又不首先响应?这就要用到arp_ignore和arp_announce或者hidden interface的功能。

    在dr模式下,rs的配置是有些特殊的。比较常见的一种是把vip绑定到lo口上,因为大多数linux内核版本不会响应回环口ip的arp报文请求,所以当收到vip广播请求报文的时候,rs不会响应。因为director是把vip绑定到某个非回环口上的,所以director可以第一个收到并响应vip请求报文。 另一种常见的做法是,rs把vip绑定到某个不在使用中的接口上,然后利用hidden interface的功能禁掉此接口的arp响应,因为没有arp响应,所以这个端口必须不使用,否则影响正常通信。 

         我们的案例使用的是第三种常见的方法:设置arp_ignore 为1,这个参数的作用是只回答目标IP地址是来访网络接口本地地址的ARP查询请求

            举个例子,假设本机上两个网口,eth0上绑定的ip为1.1.1.1,eth1上绑定的是2.2.2.2,那么设置arp_ignore为1后,当eth0收到2.2.2.2的arp请求报文后不会响应,同理eth1收到1.1.1.1的arp请求报文不会响应(eth0:0子网卡不确定可不可以,待测试)

 然后,设置arp_announce为2,这个的作用是使用出口网口的mac作为源mac。

    举个例子,假设本机有eth0:1.1.1.1,eth1:2.2.2.2 ,假设本机收到了1.1.1.1的请求包,却从eth1口发送包,那么数据帧的源mac应该是写eth0的mac还是eth1的mac?  正常情况下是写eth1的,但是linux比较特殊,默认是写eth0的,设为2,是让它默认写eth1的。      

         为什么这里需要用到呢?因为vip包是director第一个响应的,所以网关的arp表保留的是director的mac,假设rs,eth0配的真实ip,eth1配的vip,那么,当收到director改写mac的vip请求包后,它响应并从eth0回送包(我们不应该让eth1接受到包,否则又回到2),如果此时填的是eth1,也就是vip所在的mac,那么网关发现这个是vip的新mac就会更新arp表,从而造成vip抢占(这个是别人的说法,我不太认同,因为就算用eth0的mac也会被更新,一样抢占,待我找到靠谱的答案再更新此问题)


架构:

director ip:192.168.2.119(lvs调度器服务器ip)

virtual  ip:192.168.2.111(调度用的虚拟ip)

real1    ip:192.168.2.127(srs源端服务器ip1)

real2    ip:192.168.2.138(srs源端服务器ip2)

srs ip:192.168.2.221 (此为srs边缘服务器ip)

为了实验方便,默认都关闭iptables和selinux


real1:

echo 1 > /proc/sys/net/ipv4/conf/eth0/arp_ignore

echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore

    echo 2 > /proc/sys/net/ipv4/conf/eth0/arp_announce

echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce

cd  /etc/sysconfig/network-scripts/

cp ifcfg-lo  ifcfg-lo:0

vi ifcfg-lo:0 内容如下:


            DEVICE=lo:0

            IPADDR=192.168.2.111

            NETMASK=255.255.255.255

            BROADCAST=192.168.2.111

            BROADCAST=127.255.255.255

            ONBOOT=yes

            NAME=loopback

service network  restart

vi  /usr/local/srs/conf/edge.conf 内容如下:

            listen              1935;

            max_connections     1000;

            pid                 objs/edge.pid;

            srs_log_file        ./objs/edge.log;

            vhost __defaultVhost__ {

            }


service srs restart  

route add -host 192.168.2.111 dev lo:0  #加这条是为了保证本机响应包的源ip为vip不变

real2:

配置和real1一样,略

srs 边缘服务器的配置:

vi  /usr/local/srs/conf/edge.conf 

            listen              1935;

            max_connections     1000;

            pid                 objs/edge.pid;

            srs_log_file        ./objs/edge.log;

            vhost __defaultVhost__ {

                mode            remote;

                origin          192.168.2.138:1935  192.168.2.127:1935;  (经测试,当192.168.2.138和192.168.2.127存在不同流的时候,

            }                                 用这种配置边缘服务器可以访问两台服务器上的所有流)              

        service srs restart

direct 的配置:

vi  /etc/sysctl.conf

net.ipv4.ip_forward = 1 (lvs转发包,所以这个要为1,开启转发功能)

sysctl -p

yum install ipvsadm  -y (lvs是通过ipvsadm这个软件包管理的,就类似于netfiter和iptables的关系)

cd  /etc/sysconfig/network-scripts/

cp ifcfg-eth0  ifcfg-eth0:0

vi ifcfg-eth0:0 内容如下:

            DEVICE=eth0:0

            BOOTPROTO=static

            HWADDR=00:0C:29:5B:58:99

            ONBOOT=yes

            IPADDR=192.168.2.111

            GATEWAY=192.168.2.1

            NETMASK=255.255.255.0


service network  restart

route add 192.168.2.111 dev eth0:0

ipvsadm  -A -t 192.168.2.111:1935 -s sh (添加服务,-s指定调度算法,sh是source_hash的意思,根据来源ip调度到同一台服务器)

ipvsadm  -a  -t 192.168.2.111:1935 -r 192.168.2.138:1935 -m  (添加后端服务器)

ipvsadm  -a  -t 192.168.2.111:1935 -r 192.168.2.127:1935 -m

ipvsadm -Ln (这个命令可以查看ipvs当前的状态)

推流测试:

/usr/local/src/srs/trunk/objs/ffmpeg/bin/ffmpeg  -re -i test.flv -vcodec copy -acodec copy -f flv -y rtmp://192.168.2.111/live/livestream1

/usr/local/src/srs/trunk/objs/ffmpeg/bin/ffmpeg  -re -i test2.flv -vcodec copy -acodec copy -f flv -y rtmp://192.168.2.111/live/livestream2

通过rtmp://192.168.2.221/live/livestream1和rtmp://192.168.2.221/live/livestream2 查看确认视频可正常播放


以上是关于lvs+srs(dr模型)的主要内容,如果未能解决你的问题,请参考以下文章

LVS搭建负载均衡DR模型

LVS-DR模型安装

lvs-dr模型负载均衡

LVS-NAT/DR模型

LVS专题: NAT和DR模型实现Web负载均衡

LVS集群--net模型DR模型实例演示及详解