Spring boot中最大连接数最大线程数与最大等待数在生产中的异常场景

Posted 2020-12-15 鸿毛浮绿水

在上周三下午时，客户、业务和测试人员同时反溃生产环境登录进入不了系统，我亲自测试时，第一次登录进去了，待退出后再登录时，复现了客户的问题，场景像是请求连接被拒绝了，分析后判断是spring boot的连接数使用完了，于是重启了服务，客户访问都恢复正常。虽然问题暂时解决了，但实质原因还无法确定。根据分析，判断是spring boot服务连接被拒绝，查看配置的最大连接数和最大线程数时，配置为：
#最大连接数
server.tomcat.max-connections=300
#最大线程数
server.tomcat.max-threads=200
为了验证自己的分析，于是将最大连接数和最大线程数都设置为3，如下：
#最大连接数
server.tomcat.max-connections=3
#最大线程数
server.tomcat.max-threads=3
启动服务后，打开4个浏览器（IE、google、火狐、360），在这4个浏览器中，登录IE、google和火狐后，再登录360浏览器时，生产环境的场景复现了；重启服务，再先登录360、火狐、IE后，再登录google时，生产环境的场景同样复现了。
由此断定，spring boot中内嵌的tomcat的最大连接数达到最大值后，在没有连接数释放的情况下，新的请求会被服务器拒绝，即测试验证中第4个浏览器进入不了系统的原因。
由于公司该企业级服务系统的上线，用户量远少于300，就很奇怪连接数为何会被耗尽。
经过进一步排查，是由于系统上线后，用户的登录，支持多个用户共用一个账号，同时单个用户的会话有效期设置为了3天，客户之前在系统中出现过浏览器兼容性问题导致一个客户在一台电脑的多个浏览器上登录，另外业务人员、测试人员都在上面验证着客户的问题，都在占用着连接数，综合以上因素，导致了该系统上300个连接数被耗尽了。
为了解决这个问题，必须对tomcat的最大连接数等参数做优化设置。查询了tomcat的常用参数，其中最大连接数、最大线程数和最大等待数信息如下 ：

1）maxThreads（最大线程数）
每一次HTTP请求到达Web服务器，Web服务器都会创建一个线程来处理该请求，该参数决定了应用服务同时可以处理多少个HTTP请求，tomcat默认为200；

2）accepCount（最大等待数）
当调用Web服务的HTTP请求数达到tomcat的最大线程数时，还有新的HTTP请求到来，这时tomcat会将该请求放在等待队列中，这个acceptCount就是指能够接受的最大等待数，默认100.如果等待队列也被放满了，这个时候再来新的请求就会被tomcat拒绝（connection refused）；

3）maxConnections（最大连接数）
这个参数是指在同一时间，tomcat能够接受的最大连接数。一般这个值要大于maxThreads+acceptCount。
根据公司用户量及机器配置信息，公司的最大连接数、最大线程数和最大等待数优化为：
#最大连接数
server.tomcat.max-connections=2000
#最大线程数
server.tomcat.max-threads=1000
#最大等待数
server.tomcat.accept-count=800

 

1）maxThreads（最大线程数）
每一次HTTP请求到达Web服务器，Web服务器都会创建一个线程来处理该请求，该参数决定了应用服务同时可以处理多少个HTTP请求，tomcat默认为200；

2）accepCount（最大等待数）
当调用Web服务的HTTP请求数达到tomcat的最大线程数时，还有新的HTTP请求到来，这时tomcat会将该请求放在等待队列中，这个acceptCount就是指能够接受的最大等待数，默认100.如果等待队列也被放满了，这个时候再来新的请求就会被tomcat拒绝（connection refused）；

3）maxConnections（最大连接数）
这个参数是指在同一时间，tomcat能够接受的最大连接数。一般这个值要大于maxThreads+acceptCount。
根据公司用户量及机器配置信息，公司的最大连接数、最大线程数和最大等待数优化为：
#最大连接数
server.tomcat.max-connections=2000
#最大线程数
server.tomcat.max-threads=1000
#最大等待数
server.tomcat.accept-count=800

 

增加线程是有成本的。JVM中默认情况下在创建新线程时会分配固定大小的线程栈，所以更多的线程异味着更多的内存；
更多的线程会带来更多的线程上下文切换成本。

如果线程占用的资源过大，会导致内存溢出（Cannt’ allocate memory）情况出现。因此需要对JVM及线程的相关参数做合理配置。

在jvm内存调整过程中，我们经常使用的参数就是：

-Xms 为jvm启动时分配的初始堆的大小，也是堆大小的最小值，比如-Xms200m，表示分配200M
-Xmx 为jvm运行过程中分配的最大堆内存，比如-Xmx500m，表示jvm进程最多只能够占用500M内存
-Xss 为jvm启动的每个线程分配的内存大小，默认JDK1.4中是256K，JDK1.5+中是1M