nginx负载均衡+keepalived高可用

Posted 2022-07-14 kaminwu

nginx负载均衡+keepalived高可用

环境准备

• 192.168.88.111：nginx + keepalived   MASTER
• 192.168.88.112：nginx + keepalived   BACKUP
• 192.168.88.113：JDK+Tomcat（运行Tomcat需要JDK），index.html内容“88.113”
• 192.168.88.114：JDK+Tomcat（运行Tomcat需要JDK），index.html内容“88.114”
• 192.168.88.115：vip

上述机器要先行安装一些常用软件，如vim，lrzsz（rz在本地上传文件，sz下载文件到本地），gcc等等。

Nginx、JDK和Tomcat均采用源码包（*.tar.gz）安装，最新的稳定版本到各自的官网下载。把软件包和安装脚本（脚本UTF8格式编写，上传到linux上记得要用vim编辑器:set ff=unix）放到机器指定的文件夹下方便寻找，如我的是：mkdir /root/install_packages。

 

88.113-114安装JDK+Tomcat

安装JDK

#进入安装包所在目录
cd /root/install_packages
#编写安装jdk的脚本
vim install_java.sh
#!/bin/bash    
#定义变量PKN，记录安装包名PKN=jdk-8u131-linux-x64.tar.gz
#解压安装包到指定路径
tar -xf $PKN -C /usr/local/
#在/etc/profile下追加全局变量JAVA_HOME=/usr/local/jdk1.8.0_131，并让改动立即生效
echo "export JAVA_HOME=/usr/local/jdk1.8.0_131" >> /etc/profile
source /etc/profile
#等待4秒后再往下执行脚本
sleep 4
#在/etc/profile中追加环境变量，并立即生效
echo "export PATH=/sbin:/bin:/usr/sbin:/usr/bin:/usr/local/sbin:/usr/local/bin:$JAVA_HOME/bin:$JAVA_HOME/db/bin:$JAVA_HOME/jre/bin" >> /etc/profile
source /etc/profile
#测试java是否安装成功，若成功则会显示版本信息
java -version

sh install_java.sh    #执行脚本，脚本要和安装包放在同一路径下
source /etc/profile    #使得/etc/profile的改动立即生效，虽然脚本最后已经执行过，但确保改动能生效，这里再执行一次
java -version    #测试jdk是否安装成功

 安装Tomcat(比较简单，解压了就能启动，不用刻意写成脚本)

cd /root/install_packages
#解压缩安装包到指定路径下
tar xf apache-tomcat-8.5.43.tar.gz -C /usr/local/
进入安装包解压路径，改个名字
#cd /usr/local/
mv apache-tomcat-8.5.43 tomcat8
cd 
#启动tomcat
sh /usr/local/tomcat8/bin/startup.sh
#分别在88.113和88.114编写两个index.html，放到网站根目录下
echo "<h1>88.113</h1>" > /usr/local/tomcat8/webapps/ROOT/index.html
echo "<h1>88.114</h1>" > /usr/local/tomcat8/webapps/ROOT/index.html

 

88.111-88.112安装Nginx+keepalived

安装Nginx（脚本有缺陷，重启机器后，nginx启动报找不到“/var/run/nginx/...”的错，但脚本中明明就已经创建了对应的路径，有待考究）。

cd  /root/install_packages

#编写安装nginx脚本
vim install_nginx.sh
#定义变量，记录tomcat压缩包名
PKN=nginx-1.16.0.tar.gz
#安装依赖包,创建用户和用户组
yum -y install zlib zlib-devel openssl openssl-devel pcre pcre-devel
groupadd -r nginx
useradd -s /sbin/nologin -g nginx -r nginx
#解压压缩包
tar xf $PKN
cd nginx-1.16.0
mkdir /var/run/nginx/;chown nginx.nginx /var/run/nginx/
./configure \    #生成makefile文件
--prefix=/usr/local \    #指定安装路径
--sbin-path=/usr/sbin/nginx \    
--conf-path=/etc/nginx/nginx.conf \    #指定主配置文件的路径
--error-log-path=/var/log/nginx/error.log --pid-path=/var/run/nginx/nginx.pid --user=nginx --group=nginx --with-http_ssl_module
make && make install    #编译，安装

#启动nginx
nginx

nginx负载均衡配置（加粗字体即为负载均衡配置）

worker_processes  1;    #nginx进程数，一般设置等于cpu核心数
#工作模式及连接数上限
events 
    use epoll;    #epoll工作模式比select好
    worker_connections  1024;    #单个进程连接数上限

http 
    include       mime.types;
    default_type  application/octet-stream;
    sendfile        on;    #开启高效文件传输模式
    keepalive_timeout  65;    #长连接超时时间，单位为秒
    upstream tomcatserver    #weight是权重，数值越大，轮询的几率越大。若服务器在fail_timeout时间内出现max_fails次连接失败，则nginx认为该服务器已挂掉，在fail_timeout时间内不再轮询该服务器
        server 192.168.88.113:8080 weight=4 max_fails=3 fail_timeout=30s;
        server 192.168.88.114:8080 weight=2 max_fails=3 fail_timeout=30s;
    
    server 
        listen       80;
        server_name  www.kamin.com;    #域名
        location / 
            proxy_pass http://tomcatserver;    #http后的名字要和upstream一样，且需要注意，名字不能带“_”号
        
        

 安装并配置keepalived

yum install -y keepalived

vim /etc/keepalived/keepalived.conf
  1 ! Configuration File for keepalived
  2 
  3 global_defs 
  4    notification_email     #基本不用，一般使用zabbix监控
  5        [e-mail]
  6    
  7    notification_email_from [e-mail]
  8    smtp_server 192.168.200.1
  9    smtp_connect_timeout 30
 10    router_id nginx_master    #keepalived机器的id，不同机器要不同（114：nginx_backup）
 11 
 12 
 13 vrrp_instance VI_1 
 14     state MASTER    #一台MASTER主，一台BACKUP备（114：BACKUP），vip只会绑定在keepalived的其中一台，且总是绑在MASTER上
 15     interface ens32    #网卡名
 16     virtual_router_id 51    #同一组keepalived里的该参数必须相同
 17     priority 150    #优先级，数值越大， 优先级越大，优先获得资源（抢vip），BACKUP的优先级数值应比MASTER小
 18     advert_int 1    #心跳间隔
 19     authentication     #两台机器之间的通讯密码
 20         auth_type PASS
 21         auth_pass 1111
 22     
 23     virtual_ipaddress     vip地址
 24         192.168.88.115/24
 25     
 26 

装了keepalived的服务器切记要关闭防火墙什么的，保证它们互相之间能连通，不然容易发生裂脑状况。具体百度。

 

测试

1.访问192.168.88.115，正常情况下一定能通且流量一定是走MASTER机，因为vip总是会绑在keepalived服务没挂的MASTER机上；

2.MASTER关，BACKUP开，正常情况下还是能访问192.168.88.115，因为keepalived检测到MASTER上的keepalived服务没有启动，因此vip转移到BACKUP上；

 

有待考虑的问题

1.keepalived是通过检测keepalived进程是否存在判断服务器是否宕机，如果keepalived进程在但是nginx进程不在了那么keepalived是不会做主备切换，所以我们需要写个脚本来监控nginx进程是否存在，如果nginx不存在就将keepalived进程杀掉；

2.宕机的机器重启后，要悉数重启nginx服务和keepalived服务，keepalived服务是通过yum安装的，可以设置开机自启动，nginx呢？