如何在 AWS EMR 上重启纱线

Posted 2023-04-17

技术标签:

【中文标题】如何在 AWS EMR 上重启纱线【英文标题】：How to restart yarn on AWS EMR 【发布时间】：2016-01-22 18:11:46 【问题描述】：

我正在使用 Hadoop 2.6.0（emr-4.2.0 图像）。我在yarn-site.xml 中做了一些更改，并希望重新启动 yarn 以使更改生效。

有没有我可以使用的命令？

【问题讨论】：

【参考方案1】：

编辑（2017 年 10 月 26 日）：AWS 正式在此处发布了有关如何执行此操作的更详细的知识中心文章 - https://aws.amazon.com/premiumsupport/knowledge-center/restart-service-emr/.

您可以通过 ssh 进入 EMR 集群的主节点并运行 -

"sudo /sbin/stop hadoop-yarn-resourcemanager"
"sudo /sbin/start hadoop-yarn-resourcemanager"

重启 Yarn 资源管理器的命令。 EMR AMI 4.x.x 使用 upstart - /sbin/start,stop,restart 都是 /sbin/initctl 的符号链接，它是 upstart 的一部分。有关详细信息，请参阅 initctl 手册页。

或者，您可以按照此处的说明将更改传播到 yarn-site.xml - yarn-change-configuration-on-yarn-site-xml

【讨论】：

【参考方案2】：

对于那些将来自谷歌的人

要在 EMR 中重新启动服务，请执行以下操作：

通过运行以下命令查找服务的名称：

initctl list

例如，YARN 资源管理器服务被命名为hadoop-yarn-resourcemanager。

通过运行以下命令停止服务：

sudo stop hadoop-yarn-resourcemanager

等待几秒钟，然后通过运行以下命令启动服务：

sudo start hadoop-yarn-resourcemanager

注意：需要停止/启动；不要使用重启命令。

通过运行以下命令验证进程是否正在运行：

sudo status hadoop-yarn-resourcemanager

使用 ps 检查进程，然后在日志目录 /var/log/ 中检查日志文件是否有任何错误。

来源：https://aws.amazon.com/premiumsupport/knowledge-center/restart-service-emr/

【讨论】：

【参考方案3】：

如果您要做的是启用日志聚合，实际上更容易创建已启用日志聚合的集群，如文档中所述：

http://docs.aws.amazon.com/ElasticMapReduce/latest/ManagementGuide/emr-plan-debugging.html

（如果你使用emr-4.3.0，它实际上是默认启用的）。

【讨论】：

【参考方案4】：

也尝试重新启动此服务：

hadoop-yarn-nodemanager

【讨论】：

以上是关于如何在 AWS EMR 上重启纱线的主要内容，如果未能解决你的问题，请参考以下文章