Nginx+Tomcat 负载均衡（动静分离）集群

Posted 2021-11-06 姜姜是美女

文章目录

• 前言
• 一、案例概述
• 二、Nginx
• 三、环境部署
• 三、部署 Nginx 负载均衡器
• 四、部署 2 台 Tomcat 应用服务器
• • 1.安装 JDK ，配置环境
  • 2.Tomcat 服务器1配置
  • 3. Tomcat 服务器2配置
• 五、Nginx server 配置
• 六、验证结果
• 总结

前言

• 通常情况下，一个 Tomcat 站点由于可能出现单点故障及无法应付过多客户复杂多样的请求等情况，不能单独应用于生产环境下，所以我们需要一套更可靠的解决方案

• nginx 是一款非常优秀的 http 服务器软件，它能够支持高达 5000 个并发连接数的响应，拥有强大的静态资源处理能力，运行稳定，并且内存、CPU 等系统资源消耗非常低

• 目前很多大型网站都应用 Nginx 服务器作为后端网站的反向代理及负载均衡器，来提升整个站点的负载并发能力

一、案例概述

• 案例由 Nginx 作为负载均衡器，Tomcat 作为应用服务器的负载集群的设置方法，架构图如下

Nginx服务器作为前端，Tomcat服务器作为后端，web页面请求由Nginx服务来进行转发
但是不是把所有的web请求转发，而是将静态页面请求Nginx服务器自己来处理，动态页面请求则转发给后端的Tomcat服务器来处理

但据我们所知，Tomcat是属于轻量级的应用服务器，可接受访问量可能会不足，所以我们需要多台Tomcat服务器，然后通过Nginx配置权重来进行挑选Tomcat服务器去进行处理，负载均衡的一种策略

二、Nginx

Nginx 服务器：

1. 首页使用精准匹配
2. 静态页面使用正则匹配自己处理
3. 动态页面使用正则匹配jsp结尾的请求，使用proxy_pass转发给Tomcat服务器

Nginx 静态处理优势

1. Nginx处理静态页面的效率远高于Tomcat的处理能力
2. 若Tomcat的请求量为1000次，则Nginx的请求量为6000次
3. Tomcat每秒的吞吐量为0.6M，Nginx的每秒吞吐量为3 .6M
4. Nginx处理静态资源的能力是Tomcat处理的6倍

Nginx动静分离原理：

1. 服务端接收来自客户端的请求中，既有静态资源也有动态资源
2. 静态资源有Nginx提供服务
3. 动态资源Nginx转发至后端

Nginx配置反向代理的主要参数：

配置后端服务器池，以提供响应数据
upstream 服务器名 {}

配置将访问请求转发给后端服务器池名
proxy_pass http://服务器名

三、环境部署

主机	操作系统	IP地址	主要软件
Nginx服务器	CentOS 7.4 x86_64	192.168.126.11	nginx-1.12.2.tar.gz
Tomcat服务器1	CentOS 7.4 x86_64	192.168.126.13	①apache-tomcat-9.0.16.tar.gz / ②jdk-8u201-linux-x64.rpm
Tomcat服务器2	CentOS 7.4 x86_64	192.168.126.14	①apache-tomcat-9.0.16.tar.gz / ② jdk-8u201-linux-x64.rpm

• 关闭防火墙，关闭开机自启

[root@localhost ~]#systemctl stop firewalld.service            #关闭防火墙及开机自启功能
[root@localhost ~]#systemctl status firewalld.service
[root@localhost ~]#setenforce 0								#关闭安全增强系统

三、部署 Nginx 负载均衡器

• 安装 Nginx 服务，这里用的一键部署脚本

#!/bin/bash
iptables -F
yum -y install epel-release && yum clean all && yum makecache
yum -y install pcre-devel zlib-devel gcc gcc-c++ make wget
useradd -M -s /sbin/nologin nginx
wget http://nginx.org/download/nginx-1.12.2.tar.gz -P /opt
tar zxvf /opt/nginx-1.12.2.tar.gz -C /opt
cd /opt/nginx-1.12.2

./configure \\
--prefix=/usr/local/nginx \\
--user=nginx \\
--group=nginx \\
--with-http_stub_status_module

cd /opt/nginx-1.12.2
make -j 4 && make install
ln -s /usr/local/nginx/sbin/nginx /usr/local/sbin/

cat > /usr/lib/systemd/system/nginx.service <<EOF
[Unit]
Description=nginx
After=network.target
[Service]
Type=forking
PIDFile =/usr/local/nginx/logs/nginx.pid
ExecStart=/usr/local/nginx/sbin/nginx
ExecrReload=/bin/kill -s HUP $MAINPID
ExecrStop=/bin/kill -s QUIT $MAINPID
PrivateTmp=true
[Install]
WantedBy=multi-user.target
EOF

chmod 754 /usr/lib/systemd/system/nginx.service
systemctl daemon-reload && systemctl start nginx.service && systemctl enable nginx.service

echo " "
pgrep "nginx" &> /dev/null
if [ $? -eq 0 ];then
        echo -e "\\033[32mnginx服务运行正常，可 curl 查看\\033[0m"
else
        echo -e "\\033[31mnginx服务运行异常，请检查\\033[0m"
fi

• 安装完成后查看结果

[root@localhost nginx-1.12.2]# curl -I http://192.168.126.11
HTTP/1.1 200 OK
Server: nginx/1.12.2
Date: Sat, 16 Oct 2021 17:04:11 GMT
Content-Type: text/html
Content-Length: 612
Last-Modified: Sat, 16 Oct 2021 17:03:49 GMT
Connection: keep-alive
ETag: "616b05f5-264"
Accept-Ranges: bytes

四、部署 2 台 Tomcat 应用服务器

1.安装 JDK ，配置环境

[root@localhost ~]#cd /opt/									   #上传安装包到/opt 目录
[root@localhost ~ /opt]#ls
apache-tomcat-9.0.16.tar.gz  jdk-8u201-linux-x64.rpm  
[root@localhost ~ /opt]#rpm -ivh jdk-8u201-linux-x64.rpm			   #安装
[root@localhost ~ /opt]#vim /etc/profile.d/java.sh				   #/etc/profile.d/环境变量脚本目录	

export JAVA_HOME=/usr/java/jdk1.8.0_201-amd64
export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar		
export PATH=$JAVA_HOME/bin:$PATH

[[root@localhost ~ /opt]#source /etc/profile.d/java.sh 			   #将脚本导入到环境变量中，使其生效
[[root@localhost ~ /opt]#java -version							   #查看版本
java version "1.8.0_201"
Java(TM) SE Runtime Environment (build 1.8.0_201-b09)
Java HotSpot(TM) 64-Bit Server VM (build 25.201-b09, mixed mode)

• 解包

[root@localhost ~ /opt]#tar zxvf apache-tomcat-9.0.16.tar.gz  	    #解包
[root@localhost ~ /opt]#mv apache-tomcat-9.0.16 /usr/local/tomcat	#转移包位置并改名

• 启动并优化管理 Tomcat（创建软连接，优化开启命令）

[root@localhost ~ /opt]#ln -s /usr/local/tomcat/bin/startup.sh /usr/local/bin/
[root@localhost ~ /opt]#ln -s /usr/local/tomcat/bin/shutdown.sh /usr/local/bin/
[root@localhost ~ /opt]#startup.sh 								   #开启
Using CATALINA_BASE:   /usr/local/tomcat
Using CATALINA_HOME:   /usr/local/tomcat
Using CATALINA_TMPDIR: /usr/local/tomcat/temp
Using JRE_HOME:        /usr/java/jdk1.8.0_201-amd64
Using CLASSPATH:       /usr/local/tomcat/bin/bootstrap.jar:/usr/local/tomcat/bin/tomcat-juli.jar
Tomcat started.
[root@localhost ~ /opt]#netstat -antp |grep 8080					  #查看是否开启成功
tcp6       0      0 :::8080                 :::*                    LISTEN      2520/java  

2.Tomcat 服务器1配置

[root@localhost ~]# mkdir /usr/local/tomcat/webapps/yj
[root@localhost ~]# vim /usr/local/tomcat/webapps/yj/index.jsp

<%@ page language="java" import="java.util.*" pageEncoding="UTF-8"%>     #动态页面的配置
<html> 
<head>
<title>JSP test1 page </title>
</head>
<body>
<% out.println("动态页面 1,http://www.test1.com");%>
</body>
</html>


#编辑tomcat主配置文件,添加虚拟主机配置，这里要先删掉原先的主机名等配置
[root@tm2134 /opt]#vim /usr/local/tomcat/conf/server.xml			   
-------------------------------------------------------------------------------------------------
<Host name="localhost" appBase="webapps" unpackWARs="true" autoDeploy="true" 
#找到这个先删掉，否则最后会出错
-------------------------------------------------------------------------------------------------
#在行尾162行处插入下面配置，需注意结尾的</Host>
<Host name="localhost" appBase="webapps" unpackWARs="true" autoDeploy="true" xmlValidation="false" xmlNamespaceAware="false">
     <Context docBase="/usr/local/tomcat/webapps/gl" path="" reloadable="true" />
</Host>
-------------------------------------------------------------------------------------------------
[root@localhost ~ /opt]#shutdown.sh		
[root@localhost ~ /opt]#startup.sh			 								#重启服务

3. Tomcat 服务器2配置

[root@localhost ~ /opt]#mkdir /usr/local/tomcat/webapps/yj			#创建一个测试的目录
[root@localhost ~ /opt]#vim /usr/local/tomcat/webapps/yj/index.jsp			#动态页面的配置
<%@ page language="java" import="java.util.*" pageEncoding="UTF-8"%>
<html>
<head>
<title>JSP test2 page </title>
</head>
<body>
<% out.println("动态页面 2,http://www.test2.com");%>
</body>
</html>


#编辑tomcat主配置文件,添加虚拟主机配置，这里要先删掉原先的主机名等配置
[root@tm2134 /opt]#vim /usr/local/tomcat/conf/server.xml			   
-------------------------------------------------------------------------------------------------
<Host name="localhost" appBase="webapps" unpackWARs="true" autoDeploy="true" 
#找到这个先删掉，否则最后会出错
-------------------------------------------------------------------------------------------------
#在行尾162行处插入下面配置，需注意结尾的</Host>
<Host name="localhost" appBase="webapps" unpackWARs="true" autoDeploy="true" xmlValidation="false" xmlNamespaceAware="false">
     <Context docBase="/usr/local/tomcat/webapps/yj" path="" reloadable="true" />
</Host>
-------------------------------------------------------------------------------------------------
[root@localhost ~ /opt]#shutdown.sh		
[root@localhost ~ /opt]#startup.sh			 								#重启服务

五、Nginx server 配置

• 静态页面配置

[root@localhost ~]#echo '<html><body><h1>this is static</h1></body></html>' > /usr/local/nginx/html/index.html
[root@localhost ~]#cat /usr/local/nginx/html/index.html 
<html><body><h1>this is static</h1></body></html>

[root@localhost /usr/local/nginx/html]#mkdir /usr/local/nginx/html/picture		#上传图片
[root@localhost /usr/local/nginx/html]#cd picture/
[root@localhost /usr/local/nginx/html/picture]#rz -E
[root@localhost /usr/local/nginx/html/picture]#ls
yal.jpg
#主配置文件57行下添加下面配置参数，让页面能够加载图片
[root@localhost /usr/local/nginx/html/picture]#vim /usr/local/nginx/conf/nginx.conf
location ~ .*\\.(gif|jpg|jpeg|png|bmp|swf|css)$ {
root /usr/local/nginx/html/picture;
expires 10d;
 }
[root@localhost /usr/local/nginx/html/picture]#nginx -t
[root@localhost /usr/local/nginx/html/picture]#systemctl restart nginx.service 

• 配置nginx主配置文件

[root@localhost ~]#vim /usr/local/nginx/conf/nginx.conf
......
#配置负载均衡的服务器列表，weight参数表示权重，权重越高，被分配到的概率越大

#gzip  on;													#33行下面加入以下内容
upstream tomcat_server {
server 192.168.126.13:8080 weight=1;
server 192.168.126.14:8080 weight=1;
}  


															#45行下加入下面配置参数
 45			#access_log  logs/host.access.log  main;
 46         location ~ .*\\.jsp$ {
 47         proxy_pass http://tomcat_server; 
 48         proxy_set_header HOST $host;
 49         proxy_set_header X-Real-IP $remote_addr;                
 50         proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
 51        }            

• 添加参数解析

location ~ .*\\.jsp$ {			
#把nginx接收到的客户端的ip地址赋值给跳转到tomcat请求中的源ip，识别客户的真实ip，并且赋值与跳转
proxy_pass http://tomcat_server; 

proxy_set_header HOST $host;	
#设定后端的web服务器接收到的请求访问的主机名（域名或ip、端口），默认host的值为proxy_pass直连设置的主机名

proxy_set_header X-Real-IP $remote_addr;		
#把$remote_addr复制给X-Real-IP(自定义)，来回去源IP

proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;		
#在nginx最为代理服务器时，设置的IP列表，会把经过的及其ip，代理及其ip都记录下来

• 检查主配置文件语法并重启服务

[root@localhost ~]#nginx -t
nginx: the configuration file /usr/local/nginx/conf/nginx.conf syntax is ok
nginx: configuration file /usr/local/nginx/conf/nginx.conf test is successful
[root@localhost ~]#systemctl restart nginx.service

六、验证结果

• 用火狐浏览器测试静态页面的效果

• 测试负载均衡是否生效，刷新网页可以看到在动态页面1和2之间来回切换http://192.168.126.11/index.jsp

总结

①可将两个或多个Tomcat server 放到 Nginx 的 upstream 中组成一个负载均衡集群，然后通过 proxy_pass 这种 Web 代理的方式在 location 中设置集群站点，然后再通过 weight 值来分别对 Tomcat server 进行权重的设置。

②在生产环境中，Tomcat server 的硬件配置可能不尽相同，可以通过修改相应服务器的 weight 值，对配置较高或配置较低的服务器的访问请求进行分配控制