解决OutOfMemoryError: unable to create new native thread

Posted 2023-04-25

参考技术A 生产环境springboot工程卡死，检查日志发现了以下问题：

OutOfMemoryError: unable to create new native thread 出现的情况有两种：

参考资料：
https://blog.csdn.net/thwsir/article/details/86480956
https://www.cnblogs.com/svennee/p/4331549.html
https://blog.csdn.net/qq171563857/article/details/94590992

通过检查jvm参数，发现没有设置-Xss，使用的默认大小，其次，使用free -m查看服务器可用内存，发现还有很多剩余，怀疑是 超出服务器用户最大进程限制 ，由于需要先修复生产环境，没有过多时间分析定位错误，只保留了日志以及 设置了用户的最大进程数 ，就重启了工程。

在文件 /etc/security/limits.d/20-nproc.conf 调整用户的最大进程数

说明：
root用户无限制
java用户1000个
其他用户4096个

javaOOM异常：OutOfMemoryError: unable to create new native thread

java.lang.OutOfMemoryError共有8种类型，其中java.lang.OutOfMemoryError: unable to create new native thread是很常见的一种，这类错误通常发生在应用试图创建新线程时。

 

可能原因

1. 系统内存耗尽，无法为新线程分配内存
2. 创建线程数超过了操作系统的限制


解决方案

1. 排查应用是否创建了过多的线程

通过jstack确定应用创建了多少线程？超量创建的线程的堆栈信息是怎样的？谁创建了这些线程？一旦明确了这些问题，便很容易解决。

2. 调整操作系统线程数阈值
操作系统会限制进程允许创建的线程数，使用ulimit -u命令查看限制。某些服务器上此阈值设置的过小，比如1024。一旦应用创建超过1024个线程，就会遇到java.lang.OutOfMemoryError: unable to create new native thread问题。如果是这种情况，可以调大操作系统线程数阈值。


3. 增加机器内存
如果上述两项未能排除问题，可能是正常增长的业务确实需要更多内存来创建更多线程。如果是这种情况，增加机器内存。


4. 减小堆内存
一个老司机也经常忽略的非常重要的知识点：线程不在堆内存上创建，线程在堆内存之外的内存上创建。所以如果分配了堆内存之后只剩下很少的可用内存，依然可能遇到java.lang.OutOfMemoryError: unable to create new native thread。考虑如下场景：系统总内存6G，堆内存分配了5G，永久代512M。在这种情况下，JVM占用了5.5G内存，系统进程、其他用户进程和线程将共用剩下的0.5G内存，很有可能没有足够的可用内存创建新的线程。如果是这种情况，考虑减小堆内存。


5. 减少进程数
这和减小堆内存原理相似。考虑如下场景：系统总内存32G，java进程数5个，每个进程的堆内存6G。在这种情况下，java进程总共占用30G内存，仅剩下2G内存用于系统进程、其他用户进程和线程，很有可能没有足够的可用内存创建新的线程。如果是这种情况，考虑减少每台机器上的进程数。


6. 减小线程栈大小

线程会占用内存，如果每个线程都占用更多内存，整体上将消耗更多的内存。每个线程默认占用内存大小取决于JVM实现。可以利用-Xss参数限制线程内存大小，降低总内存消耗。例如，JVM默认每个线程占用1M内存，应用有500个线程，那么将消耗500M内存空间。如果实际上256K内存足够线程正常运行，配置-Xss256k，那么500个线程将只需要消耗125M内存。（注意，如果-Xss设置的过低，将会产生java.lang.StackOverflowError错误）

 

参考

https://blog.fastthread.io/2016/07/06/troubleshoot-outofmemoryerror-unable-to-create-new-native-thread/