JAVA线程池资源回收的问题

Posted 2020-10-03 fight-ing

最近项目中为了提高用户体验度，前台创建任务后台任务，用多线程来跑。

现在的场景：后台定时任务管理这两个线程池，一个最大线程数10个，一个最大线程数15。应用部署之后，不超过5个小时，服务器负载高，内存使用过多。

分析原因：因为这个功能是excel导入功能，如果前台有大量的导入任务时，那么后台的负载就会很高。

　　　　　我的实现原理：定时任务读取任务，放到任务队列表中，然后使用线程池消费任务队列中的任务，每个线程时一直循环取任务。

　　　　　我的定时任务周期是 1 分钟，线程池从初始化时，空闲线程存活的时间为 1 分钟，任务队列没有设定最大数量值。

 

优化：　　

　　1.任务队列没有上限

　　　　定时任务每次启动都回去数据库中读取任务，放入对列表中，如果一直往任务队列中放，那么任务队列占用的内存会越来越大，导致服务器内存不足。

　　　解决办法：定时任务在读取任务时，先判断任务队列的大小，比如我这设置的100个，那么我就不再读取新的任务了。这个参数需要通过观察机器的负载，然后来调整。

 

　　2.线程池中的线程，无限循环处理任务，当任务数量过多的时候，线程会一直执行，停不下来。

　　　　线程池中的线程，无限循环处理任务，当任务数量过多的时候，线程会一直执行，停不下来。

　　　解决办法：在线程内部设置计数器，当一个线程累计到一定数量，退出循环，然后清空资源，回收，间歇性，周期的执行任务，相当于定期回收资源

 

　　3.定时任务 1 分钟，那么空闲线程存活的时间为1分钟

　　　　由于空闲线程存活时间是 1 分钟，那么我的定时任务也是 1 分钟，这个时候，线程就基本就不会被线程池回收，那么资源就一直没有释放，被回收。

　　　解决办法：调整线程空闲的线程存活时间为定时任务周期的一半，也就是30秒。

 

　　4.在线程池中，有核心线程，对于核心线程超时也回收，所以，需要执行下边这个方法，确保核心线程超时之后也被回收。

　　　解决办法：threadPoolExecutor.allowCoreThreadTimeOut(true);

 

优化之后的流程：

　　任务定期读取任务，往任务队列中放一定量（不能超过最大值）的任务，之后线程池中的线程超时时间设置短一点，线程通过计数器，当执行了一定数量的线程之后，推出循环，这个时候线程就空闲了，后边就会被线程池回收，资源被回收，如此反复进行下去，资源回收，重新分配，不会大量消耗服务资源。

 

　　通过以上几个点的优化，程序消耗服务器资源好很多，可能还有优化的地方，后边再补充。