生产环境出现的几次线程池被占满的问题分析

Posted 2023-02-28

参考技术A 项目发布后，发现生产上面dubbo的线程池迅速被耗尽，查看日志看到如下信息：

RejectedExecutionException是dubbo provide线程池的拒绝策略（详情见：引入dubbo的实战记录），默认200大小的线程池被占满了，随后我们在这段日志的上面发现了另外一段日志：

发现这个http请求调用异常了，并且发现整个接口调用花了100秒，那么问题就显而易见了，前端一个请求，发送到A系统，A系统通过dubbo调用B系统，B系统http调用php提供的一个接口，php的这个服务由于一些未知原因特别慢，导致我们的http请求花了很长时间，这时候dubbo的线程一直得不到释放，由于A系统这时候频繁调用B系统，导致B系统的dubbo线程池线程很快被耗尽（dubbo服务提供方线程池默认固定大小200，并且SynchronousQueue的初始化大小为0，也就是说线程池总的容量为200）。后来的解决方案：1.减小http的超时时长（之前设置的是60秒）；2.加大dubbo线程池容量；这样就算http调用会发生超时，超时时间也很短，会让dubbo线程很快释放，增加线程池最大容量就不说了。当线程池已满时，使用界队列来存储未执行的任务有这样一个好处，当发生异常情况导致线程池被撑满时，问题能尽快的暴露出来，如果是无界队列，这样未执行的任务会一直积压在队列中，极有可能会撑满内存，最终导致整个应用不可用。