c3工具的bug导致服务器瘫痪

Posted 2020-11-20

现象描述：
在集群节点上运行c3命令后，处于挂起状态；之后虽然通过ctrl + c 终止，但c3命令在后台仍在频繁启动python进程；python进程对内存消耗逐步加大，此时该集群节点接收的新连接与新任务将会由于内存资源不足而不断积压，随着内存消耗殆尽，集群最终将完全瘫痪。
原因分析：
用户在通过hostname命令更改主机名称后， 对于/etc/hosts文件中的ip与主机名称映射信息修改不完全； 而后执行c3命令时，c3会自动通过/etc/hosts文件中的配置将hostname映射为ip地址，该ip地址与/etc/c3_conf中#head node行指定的ip地址不一致，则将产生上述现象。
解决方法：
1.杀掉所有的python进程：ps -ef|grep python|grep -v grep|awk ‘{print $2}‘|xargs kill -9 （这是众多方法中的一种 - -）

2. 将/etc/hosts修改正确。