Storm子进程supervisor频繁Down机问题

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Storm子进程supervisor频繁Down机问题相关的知识,希望对你有一定的参考价值。

参考技术A

最近频繁遇到一个问题,storm在提交运行jar程序时,子进程supervisor总是挂机,导致无法运行jar项目,之前以为是环境的问题或是ZK的版本问题,后来查看supervisor.log的日志信息才发现问题所在。先来看看错误

这里多说一点,那么我们应该怎样关闭storm才不会出现这种错误能,最简单的就是jps查看进程后杀死,先从在主。(kill -9 进程ID)

解决办法
1:先检测storm配置文件storm.yaml,是否配置属性storm.local.dir;
2:若配置了storm.local.dir属性,在配置的路径下删除supervisor和workers两个文件夹即可;
3:若没有配置storm.local.dir属性,则添加配置即可;
4:重新启动;

这里要说的是,storm的日志在storm的logs目录下,它分为ui.log、nimbus.log、supervisor.log等等,当那个进程出现问题就查看对应日志即可

以下是几个shell脚本供参考

(1)批量启动ZK脚本:zookeeperStart.sh

(2)批量关闭ZK脚本:zookeeperShutdown.sh

(3)启动storm集群脚本:stormStart.sh

(4)关闭storm集群脚本:stormShutdown.sh

以上是关于Storm子进程supervisor频繁Down机问题的主要内容,如果未能解决你的问题,请参考以下文章

Storm篇--Storm 容错机制

storm 消息确认机制及可靠性

Supervisor的作用与配置:实现对异常中断的子进程的自动重启

supervisor管理子进程

Supervisor的作用与配置

Erlang:supervisor(3),添加子进程