Linux运维-集群技术进阶Nginx+Keepalived+Tomcat搭建高可用/负载均衡/动静分离的Webserver集群

Posted 2020-10-03 jhcelue

额。博客名字有点长。。

。

前言

最终到这篇文章了，心情是有点激动的。

由于这篇文章会集中曾经博客讲到的全部nginx功能点。包含主要的负载均衡，还有动静分离技术再加上这篇文章的重点。通过Keepalived实现的HA(High Available)。为什么要实现高可用呢？曾经在搭建的时候仅仅用了一台Nginxserver，这种话假设Nginxserver宕机了，那么整个站点就会挂掉。所以要实现Nginx的高可用，一台挂掉还会有还有一台顶上去。从而保证站点能够持续的提供服务。

关于负载均衡和动静分离在前面博客中都有相关的介绍，这篇博客就不在具体提了，仅仅会在配置文件里体现。不多说了，以下開始搭建。

拓扑环境

以下表格是这次測试须要的拓扑环境，几台server。每台server上安装什么，都有介绍。

server名称	系统版本号	预装软件	IP地址/VIP
Nginx主server	CentOS 7 最小安装	Nginx +Keepalived	192.168.22.227/192.168.22.231
Nginx从server	CentOS 7 最小安装	Nginx +Keepalived	192.168.22.228/192.168.22.231
WebserverA	CentOS 7 最小安装	tomcat+jdk	192.168.22.229
WebserverB	CentOS 7 最小安装	tomcat+jdk	192.168.22.230

前置条件

这是一个系列博客，假设有困难能够查看之前的博客。
server配置VIP：http://blog.csdn.net/u010028869/article/details/50574907
Keepalived安装见：http://blog.csdn.net/u010028869/article/details/50527817
Keepalived原理解析：http://blog.csdn.net/u010028869/article/details/50596805
Nginx动静分离、负载均衡：http://blog.csdn.net/u010028869/article/details/50522033

原理图

開始搭建

一、配置VIP

关于VIP（即虚拟IP）的作用，上篇博客《Keepalived原理篇》已经介绍过了。

227和228server须要配置同样的VIP。虚拟IP在某时刻仅仅能属于某一个节点。还有一个节点作为备用节点存在。当主节点不可用时。备用节点接管虚拟IP。成为主节点（即虚拟IP漂移至从节点），提供正常服务。

这个VIP就像个墙头草，两头跑，谁是主他就为谁服务。

配置VIP的博客。上面也有链接哦。

二、安装软件

依照上面的表格，在对应server上安装软件。安装过程不再多说了，有问题能够点击上面的博客链接哦。

三、配置Nginx

227server上的Nginx配置：

    user nobody;

    worker_processes 2;

    events{
            worker_connections 1024; 
    }

    http{
    #设置默认类型为二进制流
            default_type    application/octet-stream;

            server_names_hash_bucket_size   128;
            #指定来自client请求头的headerbuffer大小。设置为32KB
            client_header_buffer_size   32k;
            #指定client请求中较大的消息头的缓存最大数量和大小，这里是4个32KB
            large_client_header_buffers 4 32k;
            #上传文件大小
            client_max_body_size 356m;
            #nginx的HttpLog模块指定，指定nginx日志的输出格式，输出格式为access
            log_format access ‘$remote_addr - $remote_user [$time_local] "$request" ‘
                    ‘$status $body_bytes_sent "$http_referer" ‘
                    ‘"$http_user_agent" "$http_x_forwarded_for"‘;
            #access日志存在未知
            access_log  /usr/local/nginx/logs/access.log    access;
            #开启高效模式文件传输模式，将tcp_nopush和tcp_nodelay两个指另设置为on，用于防止网络堵塞。

            sendfile    on;
            tcp_nopush  on;
            tcp_nodelay on;
            #设置client连接保持活动的超时时间
            keepalive_timeout   65;
            server_tokens   off;
            #client请求主体读取缓存
            client_body_buffer_size 512k;
            proxy_connect_timeout   5;
            proxy_send_timeout      60;
            proxy_read_timeout      5;
            proxy_buffer_size       16k;
            proxy_buffers           4 64k;
            proxy_busy_buffers_size 128k;
            proxy_temp_file_write_size 128k;

            #fastcgi_connect_timeout 300;
            #fastcgi_send_timeout   300;
            #fastcgi_read_timeout   300;
            #fastcgi_buffer_timeout 300;
            #fastcgi_buffers 4 64k;
            #fastcgi_busy_buffers_size 128k;
            #fastcgi_temp_file_write_size 128k;

            #开启gzip
            gzip    on;
            #同意压缩的最小字节数
            gzip_min_length 1k;
            #4个单位为16k的内存作为压缩结果流缓存
            gzip_buffers 4 16k;
            #设置识别HTTP协议版本号，默认是1.1
            gzip_http_version 1.1;
            #gzip压缩比，可在1~9中设置，1压缩比最小，速度最快。9压缩比最大。速度最慢，消耗CPU
            gzip_comp_level 2;
            #压缩的类型
            gzip_types text/plain application/x-javascript text/css application/xml;
            #让前端的缓存server混村经过的gzip压缩的页面
            gzip_vary   on;

            upstream mycluster{
                     server 192.168.22.229:8080 weight=1;
                     server 192.168.22.230:8080 weight=1;
                    }

            server{
                    listen 8088;
                    server_name 192.168.22.227;
                    charset    utf-8; #设置编码为utf-8
                    #root   html;

            #location / {
            #    root   html;
            #    index  index.html index.htm;
            #}

            #location ~ .*\.(jsp|do|action)$
            location / {
                    proxy_next_upstream http_502 http_504 error timeout invalid_header;
                    proxy_pass http://mycluster;
                    # 真实的clientIP
                    proxy_set_header   X-Real-IP        $remote_addr; 
                    # 请求头中Host信息
                    proxy_set_header   Host             $host; 
                    # 代理路由信息。此处取IP有安全隐患
                    proxy_set_header   X-Forwarded-For  $proxy_add_x_forwarded_for;
                    # 真实的用户訪问协议
                    proxy_set_header   X-Forwarded-Proto $scheme;
            }
            #静态文件交给nginx处理
            location ~ .*\.(htm|html|gif|jpg|jpeg|png|bmp|swf|ioc|rar|zip|txt|flv|mid|doc|ppt|pdf|xls|mp3|wma)$
            {
                    root /usr/local/webapps;
                    expires 30d;
            }
            #静态文件交给nginx处理
            location ~ .*\.(js|css)?
$
            {
                    root /usr/local/webapps;
                    expires 1h;
            }
            error_page   500 502 503 504  /50x.html;  

            location = /50x.html {
                root   html;
            }

            }
    }

228server上的Nginx配置：

    user nobody;

    worker_processes 2;

    events{
            worker_connections 1024; 
    }

    http{
    #设置默认类型为二进制流
            default_type    application/octet-stream;

            server_names_hash_bucket_size   128;
            #指定来自client请求头的headerbuffer大小，设置为32KB
            client_header_buffer_size   32k;
            #指定client请求中较大的消息头的缓存最大数量和大小，这里是4个32KB
            large_client_header_buffers 4 32k;
            #上传文件大小
            client_max_body_size 356m;
            #nginx的HttpLog模块指定。指定nginx日志的输出格式，输出格式为access
            log_format access ‘$remote_addr - $remote_user [$time_local] "$request" ‘
                    ‘$status $body_bytes_sent "$http_referer" ‘
                    ‘"$http_user_agent" "$http_x_forwarded_for"‘;
            #access日志存在未知
            access_log  /usr/local/nginx/logs/access.log    access;
            #开启高效模式文件传输模式。将tcp_nopush和tcp_nodelay两个指另设置为on。用于防止网络堵塞。
            sendfile    on;
            tcp_nopush  on;
            tcp_nodelay on;
            #设置client连接保持活动的超时时间
            keepalive_timeout   65;
            server_tokens   off;
            #client请求主体读取缓存
            client_body_buffer_size 512k;
            proxy_connect_timeout   5;
            proxy_send_timeout      60;
            proxy_read_timeout      5;
            proxy_buffer_size       16k;
            proxy_buffers           4 64k;
            proxy_busy_buffers_size 128k;
            proxy_temp_file_write_size 128k;

            #fastcgi_connect_timeout 300;
            #fastcgi_send_timeout   300;
            #fastcgi_read_timeout   300;
            #fastcgi_buffer_timeout 300;
            #fastcgi_buffers 4 64k;
            #fastcgi_busy_buffers_size 128k;
            #fastcgi_temp_file_write_size 128k;

            #开启gzip
            gzip    on;
            #同意压缩的最小字节数
            gzip_min_length 1k;
            #4个单位为16k的内存作为压缩结果流缓存
            gzip_buffers 4 16k;
            #设置识别HTTP协议版本号。默认是1.1
            gzip_http_version 1.1;
            #gzip压缩比，可在1~9中设置。1压缩比最小。速度最快。9压缩比最大，速度最慢，消耗CPU
            gzip_comp_level 2;
            #压缩的类型
            gzip_types text/plain application/x-javascript text/css application/xml;
            #让前端的缓存server混村经过的gzip压缩的页面
            gzip_vary   on;

            upstream mycluster{
                     server 192.168.22.229:8080 weight=1;
                     server 192.168.22.230:8080 weight=1;
                    }

            server{
                    listen 8088;
                    server_name 192.168.22.228;
                    charset    utf-8; #设置编码为utf-8
                    #root   html;

            #location / {
            #    root   html;
            #    index  index.html index.htm;
            #}

            #location ~ .*\.(jsp|do|action)$
            location / {
                    proxy_next_upstream http_502 http_504 error timeout invalid_header;
                    proxy_pass http://mycluster;
                    # 真实的clientIP
                    proxy_set_header   X-Real-IP        $remote_addr; 
                    # 请求头中Host信息
                    proxy_set_header   Host             $host; 
                    # 代理路由信息，此处取IP有安全隐患
                    proxy_set_header   X-Forwarded-For  $proxy_add_x_forwarded_for;
                    # 真实的用户訪问协议
                    proxy_set_header   X-Forwarded-Proto $scheme;
            }
            #静态文件交给nginx处理
            location ~ .*\.(htm|html|gif|jpg|jpeg|png|bmp|swf|ioc|rar|zip|txt|flv|mid|doc|ppt|pdf|xls|mp3|wma)$
            {
                    root /usr/local/webapps;
                    expires 30d;
            }
            #静态文件交给nginx处理
            location ~ .*\.(js|css)?
$
            {
                    root /usr/local/webapps;
                    expires 1h;
            }
            error_page   500 502 503 504  /50x.html;  

            location = /50x.html {
                root   html;
            }

            }
    }

另外还须要在227,228server上新建一个文件夹/usr/local/webapps/drp/img，在img文件夹中存放图片girl.jpg。

假设Nginxserver较多的话。能够使用Rsync做服务端自己主动同步或者使用NFS、MFS分布式共享存储，避免一个个复制文件。

还有。这块Nginx配置是做过一些优化的，比方开启gzip压缩，开启高效文件传输模式。设置缓存，动静分离，负载均衡等，能够直接拿到项目中使用。

四、配置Keepalived

227server上的Keepalived配置：

! Configuration File for keepalived

    #配置邮件相关信息
    global_defs {
       notification_email {
         [e-mail]
         [e-mail]
         [e-mail]
       }
       notification_email_from [e-mail]
       smtp_server 192.168.200.1
       smtp_connect_timeout 30
       router_id LVS_DEVEL
    }

    #配置Nginx健康监測脚本
    vrrp_script check_nginx {
            script "</dev/tcp/127.0.0.1/8088"
            interval 3
            weight -2
    }

    vrrp_instance VI_1 {
        state MASTER
      #网卡名称
        interface eno16777736
        virtual_router_id 151
        priority 100
        advert_int 1
        authentication {
            auth_type PASS
            auth_pass 1111
        }

            track_script {
                    check_nginx
            }

        virtual_ipaddress {
            192.168.22.231
        }
    }

228server上的Keepalived配置：

    ! Configuration File for keepalived

    global_defs {
       notification_email {
         [e-mail]
         [e-mail]
         [e-mail]
       }
       notification_email_from [e-mail]
       smtp_server 192.168.200.1
       smtp_connect_timeout 30
       router_id LVS_DEVEL
    }

    vrrp_script check_nginx {
            #script "/opt/chknginx.sh"
            script "</dev/tcp/127.0.0.1/8088"
            interval 3
            weight -2
    }

    vrrp_instance VI_1 {
        state MASTER
        interface eno16777736
        virtual_router_id 151
        priority 99
        advert_int 1
        authentication {
            auth_type PASS
            auth_pass 1111
        }

            track_script {
                    check_nginx
            }

        virtual_ipaddress {
            192.168.22.231
        }
    }

特别注意，Nginx健康监測脚本。

在本地写一个shell脚本，Keepalived监測不到。不知道为什么，网上的博客都是这么写的。可是在我这里就不行。最后直接在Keepalived配置文件的script标签中写了这段监測的脚本。才得以成功。

    vrrp_script chk_http_port {
    script "</dev/tcp/192.168.22.227/80"
    interval 1
    weight -10
    }

另外，假设你不明确某些配置的意思。能够查看上篇博客，里面针对每条配置文件都做了具体解析。

五、Tomcat配置

229server，加入默认页

在Tomcat的webapps文件夹下新建文件夹drp，而且创建index.jsp页面

        <%@ page language="java" contentType="text/html; charset=GB18030"
                pageEncoding="GB18030"%>

        <HTML>
        <head>
        <meta http-equiv="Content-Type" content="text/html; charset=GB18030">
        <title>Nginx+Keepalived高可用，负载均衡。动静分离測试</title>
        </head>

                <body>
                        <h1>您正在訪问server：192.168.22.229</h1>
                        <img src="/drp/img/girl.jpg"  alt="女孩" />
                </body>

        </html>

230server同上

六、启动服务并測试

分别启动各个server上的Nginx、Keepalived、Tomcat，并測试是否能正常訪问。

①启动測试Tomcat

能够看到229和230server上的Tomcat已经能够正常訪问。图片没有载入出来，是由于图片没有在Tomcatserver上存储，而放在了Nginx上。

②启动測试Nginx

能够看到227和228上的Nginx启动成功。而且实现了负载均衡和动静分离的效果，图片被成功的载入了出来。

③ 保证全部服务均可正常訪问后，启动Keepalived測试。

启动227。228server上的Keepalived。在浏览器中输入地址：http://192.168.22.231:8088/drp/index.jsp

192.168.22.231是咱们设置的虚拟ip，在訪问站点的时候不在通过Nginx的ip了。而要通过这个vip进行訪问。

Keepalived启动后咱们能够通过查看/var/log 下的messages文件（日志文件），查看主从状态。
查看227server/var/log/messages：

能够看到227为Masterserver。那么咱们如今通过192.168.22.231訪问的就是227上的Nginx。

Nginx高可用測试

如今咱们通过两个方面来測试高可用：

① server层的双机热备。模拟方式为关闭server。或者关闭Keepalived。

a. 关闭227Keepalived进程

如今提供服务的是227server，使用命令service keepalived stop将227上的Keepalived进程关闭掉之后。

查看227servermessas日志：

将192.168.22.231这个虚拟ip移除，关闭Keepalived。

查看228servermessages日志：

228原来为从server。当227server宕机后，228server由从server升级为主server，而且绑定上192.168.22.231这个虚拟IP，以继续提供服务。站点能够继续訪问。

b. 启动227Keepalived

查看227servermessas日志：

Keepalived成功启动后。227server继续接管192.168.22.231，成为MASTERserver，继续提供服务。

查看228servermessages日志：

对应的228server。转变为BACKUPserver，而且移除VIP。

② 应用层的双机热备。模拟方式为Kill掉Nginx进程

a. 关闭227Nginx

查看227servermessages日志：

VRRP_Script(check_nginx) failed ，意思是健康监測脚本运行失败，表明Nginx服务坏掉，或者没有启动。然后Keepalived会使227server转变为BACKUP状态，移除VIP。

查看228servermessages日志：

当然不出所料，228server已经变为MASTER状态。从而继续提供服务。

b. 又一次启动227Nginx

查看227servermessages日志：

VRRP_Script(check_nginx) succeeded 。意思是健康监測脚本运行成功。Nginx正常运行。

然后227server就会转变为MASTER状态。并提供服务。

查看228servermessages日志：

228server已经变为BUCKUP状态。

小结

至此，高可用的一系列測试就已经完毕了。在整个測试过程中，不管是关闭某台server的Nginx。Keepalived还是整个server宕机。站点一直没有中断提供服务，这已经达到了主要的高可用；可是还有个缺陷就是假设Nginx主server不出问题的话，那么备用server将长期处于备份状态。这种巨大资源浪费是不能容忍的。

当然这也有对应的方案来解决：Nginx双主集群+DNS轮询。敬请期待。。

。

这就是一个架构不断演变。进化的过程。