如果我更改了 mapreduce 的配置，我应该重新启动 yarn

Posted 2023-04-18

【中文标题】如果我更改了 mapreduce 的配置，我应该重新启动 yarn

【英文标题】：If I changed mapreduce's configuration, should I restart the yarn

【发布时间】：2020-01-22 05:45:10

【问题描述】：

例如，我的系统中有一个 MapReduce 作业正在运行。我更改了mapred-site.xml 中的mapreduce.task.io.sort.mb 配置。这个任务的运行参数会动态变化吗？还是mapreduce.task.io.sort.mb参数在下次运行时生效？或者我必须重启系统才能使参数生效。

最近想开发一个Hadoop自动调参系统，可以在任务运行过程中根据系统负载动态改变参数。但我不知道如何开发它。如果Hadoop官方提供了相关的API，希望有人能给我一些建议。

【参考方案1】：

如果您的配置是特定于集群的，则必须重新启动整个集群，另一方面，如果特定于作业，请重新启动作业才能生效。一些属性实际上是特定于集群的。mapreduce.task.io.sort.mb 属性可以是它们两者。

在作业运行时无法更改属性。重新启动您的工作以使其生效。

【讨论】：

如果我更改了job-specific参数，是否会对下一个新的job生效？

如我所说，下次运行时生效。