Linux Nginx+keepalived负载+高可用

Posted 2020-10-22

                                Linux nginx+keepalived负载+高可用

【摘要】
Nginx+keepalived给企业实现廉价的，高可靠性的高可用软负载均衡，可达万级的高并发。

【正文】
一 前期准备
1.1 项目拓扑图
初步规划了nginx+keepalived的拓扑结构如下。

1.2 服务器准备
Redhat 6.4(nginx-A) CPU：单核 内存：2G 硬盘：50G 设置同网段静态IP
Redhat 6.4(nginx-B) CPU：单核 内存：2G 硬盘：50G 设置同网段静态IP
后端WEB应用服务器 自行搭建（可使用linux做最简单的http服务器） 设置同网段静态IP

1.3 软件准备
1） 两台新服务器配置YUM安装源。（此处省略YUM源配置过程，可参考网上的方法）
2） 下载nginx与keepalived源码安装包。具体型号如下，所实施的软件请参考另外提供的软件包文件夹
nginx-1.9.2.tar.gz
keepalived-1.2.19.tar.gz

二 Nginx服务器安装与配置
2.1 Nginx-A/Nginx-B主/备服务器配置
2.1.1 基础安装
安装nginx之前的需要的依赖包
#yum install –y gcc pcre-devel zlib-devel

2.1.2 Nginx安装
进入nginx安装包所在位置
#cd /tmp/

解压nginx源码包
#tar –xvf nginx-1.9.2.tar.gz

进入解压后的文件夹
#cd nginx-1.9.2

编译并安装
#./config;make;make install

2.1.3 Nginx配置文件修改
Vim编辑/usr/local/nginx/conf/nginx.conf，编辑内容如下图红框所示：

2.1.4 创建负载规则
1） 创建文件夹路径
#mkdir /usr/local/nginx/vhost

2） 为每个域名创建负载规则
#vim /usr/local/nginx/vhost/www.xxx.net

编辑的内容如下图：

2.1.5 Nginx启动
测试配置文件是否有误
#/usr/local/nginx/sbin/nginx -t
返回如下信息则配置正确

启动nginx
#/usr/local/nginx/sbin/nginx

三 Keepalived服务器安装与配置
3.1 Nginx-A主服务器keepalived安装与配置
3.1.1 基础安装

安装keepalived之前的需要的依赖包
#yum install –y openssl-devel

3.1.2 Keepalived安装
进入keepalived安装包所在位置
#cd /tmp/

解压keepalived源码包
#tar –xvf keepalived-1.2.19.tar.gz

进入解压后的文件夹
#cd keepalived-1.2.19

编译并安装
#./config;make;make install

3.1.3 Keepalived配置文件修改
1） 创建软链接（启动keepalived时需要配置文件，如未使用-f指定配置文件路径，就创建软链接到/etc目录下）
#mkdir /etc/keepalived
#ln –s /usr/local/etc/keepalived/keepalived.conf /etc/keepalived/

2） 修改keepalived配置文件
Vim修改/etc/keepalived/keepalived.conf如下图所示：

3.1.4 修改iptables设置
Iptables防火墙放通虚拟路由协议设置，否则keepalived无法通过虚拟路由协议进行通信。
vim编辑/etc/sysconfig/iptables如下图：

3.1.5 Keepalived启动
#/usr/local/sbin/keepalived

3.2 Nginx-B备服务器keepalived安装与配置
安装与配置过程请参考主服务器，主要不通点是keepalived.conf，请看下图：

3.3 Nginx监控脚本
1） Nginx-A和Nginx-B分别编辑脚本
#vim /usr/local/nginx/Monitor_Nginx.sh
脚本如下图:

2） 增加可执行权限
#chmod o+rx /usr/local/nginx/Monitor_Nginx.sh

3） 创建软链接
#ln –s /usr/local/nginx/Monitor_Nginx.sh /opt/

四 优化操作系统限制
4.1 优化操作系统使其支持高并发（主备服务器均设置）
vim编辑/etc/security/limits.conf，编辑内容如下图：

4.2 操作系统内核参数优化（主备服务器均设置）
vim编辑/etc/sysctl.conf，编辑内容如下图：

五 优化nginx及keepalived启动
5.1 将nginx启动制作成服务（主备服务器均设置）
5.1.1 编辑/etc/init.d/nginxd
编辑内容如下图，脚本内容不一一解释：

5.1.2 增加可执行权限
1）增加执行权限
#chmod +x /etc/init.d/nginxd

2）增加软链接，使其能作为命令使用
#ln –s /etc/init.d/nginxd /sbin

5.1.3 设置开机启动
设置开机启动
#chkconfig nginxd on

5.2 将keepalived制作成服务（主备服务器均设置）
5.2.1 编辑/etc/init.d/keepalivedd
编辑内容如下图，脚本内容不一一解释：

5.2.2 增加可执行权限
1）增加执行权限
#chmod +x /etc/init.d/keepalivedd

2）增加软链接，使其能作为命令使用
#ln –s /etc/init.d/keepalivedd /sbin

5.2.3 设置开机启动
设置开机启动
#chkconfig keepalivedd on

六 Nginx日志自动截断并备份（主备服务器均设置）
4） 编辑/usr/local/nginx/nginxlogbak.sh
脚本如下图:

5） 增加可执行权限
#chmod +x /usr/local/nginx/nginxlogbak.sh

6） 创建定时任务
#crontab -e

七 优化主备服务器策略同步
由于策略不会自动进行同步，需要每次人工拷贝，故进行优化，达到每天定时检测主服务器的配置，如有变更则自动备份备服务器策略，并拷贝主服务器策略。
7.1.1 使用公私钥进行免密码登录服务器（主备服务器均设置）
1） 由于root账号不允许直接ssh登录故生成公私钥时使用admin账号登录
生成公私密钥
$ssh-keygen -t rsa -P ""

2） 拷贝公钥至另一台服务器
$scp /home/admin/.ssh/id_rsa.pub [email protected]:/home/admin/.ssh/authorized_keys

同理，另一台服务器也需要这样设置，达到互认的目的。

7.1.2 为vhost文件夹增加可读可列出权限（主服务器设置）
考虑到安全，此权限设置使用ACL进行控制。如不增加admin对此文件夹权限，则备服务器无法通过admin账号进行下载。
#setfacl –d –m u:admin:rwx /usr/local/nginx/vhost/

7.1.3 编辑vhost拷贝与判断脚本（备服务器设置）
1）编辑/usr/local/nginx/vhostcopy.sh

3） 增加可执行权限
#chmod +x /usr/local/nginx/vhostcopy.sh

7.1.4 设置计划任务定期执行（备服务器设置）
1）为admin账号增加计划任务
#crontab -u admin -e

2）用admin账号在tmp目录创建vhost文件夹
$mkdir /tmp/vhost

4） root账号增加计划任务
#crontab -e

八 keepalived日志重定向
由于keepalived默认输出到message中，message又很其他日志，不便于查看keepalived的日志，优化日志输出到/var/log/keepalived.log
1）编辑vim /etc/init.d/keepalivedd
编辑内容如下：

2）编辑/etc/rsyslog.conf，增加如下内容

7） 重启日志服务和keepalived服务
#service rsyslog restart;service keepalivedd restart