默认地图减少工作？有多少映射器和减速器

Posted 2023-04-18

【中文标题】默认地图减少工作？有多少映射器和减速器

【英文标题】：default map reduce jobs ? how many mappers and reducers

【发布时间】：2017-03-14 08:43:50

【问题描述】：

我的问题是有多少默认映射器和缩减器作业，一位雇主问我说默认映射器 4 和缩减器 1，以及什么是 Sqoop 默认映射器

【参考方案1】：

Sqoop 默认运行 4 个映射器，可以用 -m 或 --num-mappers 标志覆盖。

如果要导入的表不包含主键或在sqoop 命令中没有设置--split-by 选项，那么它必须是单个映射任务。显式设置-m 1 或--autoreset-to-one-mapper 只运行一个地图任务。

注意： Sqoop 仅运行 Map 作业（无 reducer）。

在典型的 MapReduce 作业中，映射器的数量将取决于输入（及其文件格式），而减速器的数量默认为 1。

对于Distcp 作业，map 任务的数量将等于文件的数量。

【讨论】：

感谢 franklinsijo，但 mapreduce.job.maps 是 2 和 mapreduce.job.reduces 1 在下面的链接中我看到 hadoop.apache.org/docs/r2.7.2/hadoop-mapreduce-client/…

将使用 reducer 属性（即 reducer 的数量默认为 1），而 maps 属性将被 inputsplit 的数量覆盖。