kafka too many open files的解决方法

Posted 2023-04-05

参考技术A 在生产环境中，为了方便将kafka做成了一个服务，使用systemctl start kafka，kafka用户来对kafka进行启动，可是在最近的一次升级中启动应用时，kafka出现too many open files的报错并且宕机，

在linux系统下每一个进程都会有其相应的文件打开限制，可以使用cat /proc/<pid>/limits来进行查看。使用命令行启动的应用会共用执行该命令用户的文件打开数，若是将其做成一个服务，如果不经过相应的配置，那么该进程默认的文件打开数为4096，所以解决该问题不仅需要提高kafka用户的文件打开数，而且需要在启动脚本中配置文件打开数，

1）进入kafka用户中，执行ulimit -n可以查看kafka用户的文件打开数

2）若是该文件打开数小，那么需要在/etc/security/limits文件中添加：

kafka soft nofile <文件打开数>
kafka hard nofile <文件打开数>

3）也可以使用ulimit -n <文件打开数>来进行临时配置

1）kafka.service脚本如下

[Unit]
Description=kafka service
Requires=zookeeper.service
After=zookeeper.service

[Service]
ExecStart=/data/apps_data/kafka/bin/kafka-server-start.sh /data/apps_data/kafka/config/server.properties
ExecStop=/home/kafka/bin/kafka-server-stop.sh
Type=simple
User=kafka
Group=kafka
Restart=on-abnormal

[Install]
WantedBy=multi-user.target

[Unit]
Description=kafka service
Requires=zookeeper.service
After=zookeeper.service

[Service]
ExecStart=/data/apps_data/kafka/bin/kafka-server-start.sh /data/apps_data/kafka/config/server.properties
ExecStop=/home/kafka/bin/kafka-server-stop.sh
Type=simple
User=kafka
Group=kafka
LimitNOFILE=<文件打开数>
Restart=on-abnormal

[Install]
WantedBy=multi-user.target

3）更改往后执行systemctl daemon-reload重载脚本

4）重启kafka生效

too many open files 的问题怎么解决

这是因为网络请求过多，也就导致了系统打开的文件过多。每一个连接都会当成“文件”看待的。

于是用命令

ulimit -a

（效果：查看每个用户允许打开的最大文件数）

看到最大文件数是1024，将其更改大点，如

ulimit -n 4096

然后必须重启下网络服务，我用的是WebLogic，重启之后便没有出现异常。

导致 Too many open files ，网络请求过多是一种可能，但也有可能是程序上的缺陷，如没有释放一些文件句柄，程序open了文件却忘记了在最后close。但我确信工程中没有用到打开文件这一环节，因此这个可能是排除掉了。

用lsof -p [进程ID] 可以看到某ID的打开文件状况。进程ID可能用 ps -ef|grep java列出weblogic的进程ID，然后用此ID套入lsof -p ID号，咳，一大堆的请求哟，这显然是网络请求过多造成了 Too many open files。适当调整后便已消除这种现象。

相关日志
Linux下的几种桌面
Java 8 正式发布，新特性全搜罗
Facebook：Java漏洞曾使员工电脑被安装恶意软件
甲骨文发布Java紧急更新 专家称未修复漏洞
Linux下socket最大连接数 ulimit -n 最大值修改 参考技术A 太多文件被打开了，你需要关闭一些窗口了。