在 DataStax Enterprise 中更改减速器/映射器的数量

Posted 2023-03-22

【中文标题】在 DataStax Enterprise 中更改减速器/映射器的数量

【英文标题】：Change number of reducers/mappers in DataStax Enterprise

【发布时间】：2013-10-23 12:32:24

【问题描述】：

如何更改 Hadoop 中映射器/缩减器的数量？由于某些奇怪的原因，mapred-site.xml 中不存在 mapred.tasttracker.map.tasks.maximum 和 mapred.tasttracker.reduce.tasks.maximum。我确实设法在 dse-mapred-default.xml 中找到了这些设置，但是一旦打开 xml，就会有一条注释指出不应在此文件中编辑设置，并且应在 mapred-site 中覆盖这些属性。 xml。

我已尝试将这两个设置添加到 mapred-site.xml 并重新启动 Hadoop，我希望这些数字也会在 dse-mapred-default.xml 中更新，但没有运气。

有人能解释一下吗？

谢谢 马吉德

【参考方案1】：

不是mapred.tasttracker.map.tasks.maximum，而是mapred.tasktracker.map.tasks.maximum。我希望这只是一个错字，并且您在配置中使用了正确的名称。

在启动时，DSE 会创建 dse-mapred-default.xml 和 dse-core-default.xml 文件，并用适合您本地操作系统配置和硬件的默认值填充它们。这主要用于 Hadoop 自动调整功能和简化启用安全性的 Hadoop 的配置。然后 Hadoop 按以下顺序加载配置文件：

Hadoop 内部默认值（您可以在 Hadoop 文档中找到默认值） dse-core-default.xml 和 dse-mapred-default.xml 中的 DSE 默认值 用户文件：core-site.xml 和 mapred-site.xml。

稍后加载的文件中的设置会覆盖之前加载的设置。配置的最终状态是不写回具有默认值的文件。您不应期望将 mapred-site.xml 中的设置复制到 dse-mapred-default.xml 文件中。

如果您不确定最终配置是什么以及您的设置是否正确设置 - 只需运行一个作业并查看 hadoop 日志目录并搜索匹配模式 job_xxxxxxxxxxxx_xxxx_conf.xml 的文件，其中 x 是一个数字。您还可以在 jobtracker HTTP 控制台中查看最终配置。

【讨论】：

谢谢皮奥特。将检查日志以查看设置是否已实际应用。请再做一件事。当我在 pig 中进行转储时，我在控制台上收到以下消息：尝试_201310141552_0001_m_000000_0 NaN% INFO 15:55:33,801 attempt_201310141552_0001_m_000000_0 NaN% INFO 15:55:36,860 我正在运行一个包含 5 个节点的 5 节点 Hadoop 集群知道为什么会这样吗？

我不知道。也许用完整的重现步骤问另一个问题。顺便说一句：如果您发现对 SO 有用的答案，请将其标记为已接受。