如何在 Hadoop 流中设置每个节点的最大减速器数量？
Posted
技术标签:
【中文标题】如何在 Hadoop 流中设置每个节点的最大减速器数量？【英文标题】：How to set maximum number of reducers per node in Hadoop streaming? 【发布时间】：2012-04-08 16:48:51 【问题描述】：我有一个基于 C++ 的 MapReduce 作业，并且我正在使用 Hadoop 流。
然而，每个节点的最大减速器数量最终是 7，即使我在命令行配置中将它们设置为 18 mapred.tasktracker.reduce.tasks.maximum=18 ;
还有什么可以阻止 reducer 发出更多的 reduce 任务吗？
【问题讨论】：
【参考方案1】：修改mapred.tasktracker.reduce.tasks.maximum 属性后，您是否要重新启动集群中的任务跟踪器？您应该可以转到 Job Tracker web ui 页面并确认每个任务跟踪器现在配置了 18 个 reducer 插槽
【讨论】：
以上是关于如何在 Hadoop 流中设置每个节点的最大减速器数量？的主要内容，如果未能解决你的问题，请参考以下文章