连接池连接耗尽导致Tomcat假死的排查心路

Posted 木子雷

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了连接池连接耗尽导致Tomcat假死的排查心路相关的知识,希望对你有一定的参考价值。

前言:

最近,测试部门的同事找到我,说他们测试时,没一会就发现服务接口请求一直无响应,Tomcat跟死掉了一样,也没有返回任何的错误响应,说让我赶紧排查下;听完后,我瞬间激灵了下,妹的,最近老是出问题,领导都要给我开批评大会了。哈哈,开玩笑的,像我这么英俊的人,领导怎么会忍心批评我呢,哼,我把这个问题马上解决掉,都不会让领导知道的!

简单说下程序部署情况:tomcat + oracle

排查过程:

排查时,可以使用命令进行排查,也可以使用可视化监控工具;例如使用使用JDK自带的 jvisualvm.exe 监控工具。

命令排查过程:

1、请求服务无响应,首先看看tomcat是否是真的挂掉了:

命令:ps -ef | grep tomcat

通过上面的命令查看tomcat运行着;执行结果如下:

通过命令查看发现,tomcat正常运行着,那么这就是处于假死状态,下面接着排查。

2、查看http请求是否到达了tomcat:

通过查看 tomcat 的 logs 目录下的 localhost_access_log  日志文件中 请求记录;

命令:tail -100f  localhost_access_log

通过上面的命令查看实时的日志,执行完上面的查看日志的命令后,然后再次请求下程序,在日志中并没有发现请求记录,说明tomcat处于一种假死状态,下面接着排查。

3、查看tomcat的JVM的GC情况:

查看GC情况,是否由于频繁的GC,长时间的GC,导致程序出现长时间的卡顿,最终导致请求来不及处理,进入队列中进行等待,调用方长时间得不到响应,造成tomcat假死状态;

命令:jstat  -gc  pid   time  count

例如:jstat  -gc  71129   1000  5    监控 71129 这个进程JVM的GC情况,每隔1000ms 输出一次,共输出5次;

连接池连接耗尽导致Tomcat假死的排查心路

命令执行结果参数解析:

连接池连接耗尽导致Tomcat假死的排查心路

通过上面命令查看GC情况,发现垃圾回收也不频繁,并且进行GC的时间也不长,应该不是GC的原因。

4、查看tomcat的JVM的堆情况:

查看堆内存的情况,是否存在堆内存溢出 导致tomcat假死,无法为新请求分配堆内存资源;

命令 :jmap  -heap  pid

例子:jmap  -heap  71129       71129是正在运行tomcat的进程号 ;

连接池连接耗尽导致Tomcat假死的排查心路

通过命令执行结果得知,堆内存中可使用内存还很大,不会出现内存溢出的问题,所以也不是堆内存过小导致的tomcat假死。

5、查看tomcat的 JVM线程情况:

①、使用 jstack 命令导出当前JVM的线程dump快照,然后看看dump中线程都在干什么?

命令:jstack   pid   >>   jvmThreadDump.log

例子:jstack  71129  >>   jvmThreadDump.log

生成 71129 进程的 JVM的线程快照,并将快照内容重定向到 jvmThreadDump.log 文件中;

注意:生成的  jvmThreadDump.log 在你当前执行命令的目录下。

②、接着使用命令 more  查看 jvmThreadDump.log  内容;

命令 :more  jvmThreadDump.log

如果的dump文件太大的话,需要使用more 命令一点点看;执行完more 命令的话,再按 enter 回车键 一点点展示文件内容;

③、通过查看线程快照文件,发现很多线程的状态是  WAITING 等待状态;

并且使用命令查看线程状态为  WAITING  的线程占总线程的比例:

注意:tomcatDump.log  为生成的线程快照文件名称,记得改为自己设置的名称 ;

count=`cat tomcatDump.log | grep java.lang.Thread.State | wc -l`; wait=`cat tomcatDump.log | grep WAITING | wc -l`;  a=`echo | awk "{print $wait/$count*100}"`; echo "$a%"

执行命令,得到结果 :91.9786%  ,发现九成多的线程处于等待状态;

至此,找到了tomcat假死的原因,但是还需进一步确定  什么原因导致的大量线程一直等待?  

通过查看调用的服务接口代码得知,此接口业务逻辑中自己没设置任何的锁,所以应该不是自己写的代码的问题,但是此接口中涉及到了很多 JDBC数据库操作,那是不是数据库连接池中的连接不够用了呢?因为数据库连接属于竞争资源,如果连接池中的连接已经耗尽了,那么接下来的进行 JDBC的线程就需要进行wait 等待连接。

6、查看与数据库建立的TCP连接情况:

在上面发现,大量线程处于等待状态,而通过分析得知,可能是由于数据库连接池中的连接耗尽导致的,所以可以通过命令查看下,部署服务代码的服务器与数据库所在服务器建立的TCP连接数是否已经达到了配置的数据库连接池的最大连接数;

命令:netstat  -pan | grep 1521 | wc -l

因为本文中使用的数据库是Oracle,所以 grep  搜索匹配的端口号是 1521;

如果是mysql数据库则将端口号改为3306 即可, netstat  -pan | grep  3306 | wc -l   ;

如果设置了自定义的数据库端口号,则改为自定义的端口号即可;

通过命令查询到 已经使用的数据库的连接数为  6  个,那接着看下设置的数据库连接池最大连接数;

数据源配置如下:

<Resource name="jdbc/testdemo"
      type="javax.sql.DataSource"
      factory="com.alibaba.druid.pool.DruidDataSourceFactory"
      url="jdbc:oracle:thin:@192.168.3.125:1521:ora11g"
      driverClassName="oracle.jdbc.driver.OracleDriver"
      username="root"
      password="root"
      auth="Container"
      initialSize="2"
      maxActive="6"
      minIdle="3"
      maxWait="30000"
      timeBetweenEvictionRunsMillis="30000"
      minEvictableIdleTimeMillis="600000"
      maxEvictableIdleTimeMillis="900000"
      poolPreparedStatements="true"
      maxOpenPreparedStatements="20"
      validationQuery="select 1 from dual"
      testOnBorrow="false"
      testOnReturn="false"
      testWhileIdle="true"
      filters="wall,stat,log4j2"
      />

通过查看数据源发现,连接池配置的最大连接数是  maxActive="6"  ;发现目前程序中使用的连接数已达到最大值,那么后面再进行 JDBC 操作的线程将进入  等待状态 ,等待获取连接;

至此,tomcat假死的排查过程就结束了,并且原因也找到了,就是数据库连接池中的连接耗尽了;所以,在后面测试中,需要在数据源中将最大连接数设置的大一些,并且也再进一步查看下代码,看看是否存在数据库连接使用完后没有进行关闭的问题。

除了数据库连接池连接耗尽会导致tomcat假死外,还有一些其它的情况也会导致发生,例如:redis 连接池连接耗尽,或者是redis连接使用完不释放,最终导致redis连接耗尽。

除了使用上面的命令进行问题排查外,也可以直接使用可视化监控工具进行排查,更加简便、直观。

可视化监控工具排查

使用 JDK 自带的  jvisualvm.exe  工具进行 JMX远程 可视化监控tomcat;

jvisualvm.exe 位于 $JAVA_HOME/bin   目录下;

1、使用JMX实现远程监控步骤:

下面使用 JMX实现远程监控的内容参考自:jvisualvm远程监控tomcat

①、在 Tomcat  的 bin 目录下的  startup.sh  文件中的倒数第二行(也就是  exec "EXECUTABLE" start "$@"  一行上边)加上如下内容:

export CATALINA_OPTS="$CATALINA_OPTS
-Dcom.sun.management.jmxremote
-Djava.rmi.server.hostname=192.168.1.130
-Dcom.sun.management.jmxremote.port=7003
-Dcom.sun.management.jmxremote.ssl=false
-Dcom.sun.management.jmxremote.authenticate=false"

上面内容参数解析:

-Dcom.sun.management.jmxremote 启用JMX远程监控
-Djava.rmi.server.hostname=192.168.1.130  这是连接你的tomcat所在的服务器地址
-Dcom.sun.management.jmxremote.port=7003  jmx连接端口
-Dcom.sun.management.jmxremote.ssl=false  是否ssl加密
-Dcom.sun.management.jmxremote.authenticate=false  远程连接需要密码认证

在 startup.sh 文件中添加上上面的内容后,需要将tomcat重启下才会生效;

②、将 jvisualvm.exe 打开,界面如下:

连接池连接耗尽导致Tomcat假死的排查心路

③、在远程上右击,添加主机,输入服务器的ip:就是在 startup.sh 文件中添加内容中的hostname

连接池连接耗尽导致Tomcat假死的排查心路
连接池连接耗尽导致Tomcat假死的排查心路

⑤、通过上面的步骤,就已经完成了远程监控连接了,然后自己双击就能进行监控界面了:

连接池连接耗尽导致Tomcat假死的排查心路

2、查看监视内容:

连接池连接耗尽导致Tomcat假死的排查心路

通过查看监视画面得知,CPU、GC、堆Heap的情况都没有问题,那接着查看下线程的情况:

点击上面图片中的  线程Dump  按钮,生成线程的快照,快照文件内容部分如下:

通过查看快照文件内容发现,很多线程的状态的都是  WAITING  等待状态;

接下来的分析排查过程就如上面的  命令排查过程  一样了。

总结:

上面的两种排查方式,本人比较推荐还是使用第一种  命令排查  ,因为很多的情况是不会让你修改配置文件进行远程监控的,即便使用监控工具看起来更加直观、简便;所以,平时需要记一些常用的排查命令,以备不时之需。

由于本人水平有限,如有问题,敬请提出;

微信搜索【木子雷】公众号,让我们一起畅聊编程吧!


以上是关于连接池连接耗尽导致Tomcat假死的排查心路的主要内容,如果未能解决你的问题,请参考以下文章

Tomcat假死之问题原因排查

服务器HttpClient连接池耗尽问题排查与解决

tomcat JDBC连接池c3p0连接资源耗尽导致tomcat实例对应的app移动端无法访问。

TCP连接的TIME_WAIT过多导致 Tomcat 假死

HttpClient连接池耗尽引发雪崩问题

netty导致tomcat假死