如何在 EMR 上设置减速器的数量

Posted 2023-04-18

【中文标题】如何在 EMR 上设置减速器的数量

【英文标题】：How to Set Number of Reducers on EMR

【发布时间】：2019-02-27 03:33:59

【问题描述】：

我有一系列 Mapper 和 Reducer 任务，我通过 aws 上的自定义 jar 步骤运行这些任务。我想只通过一个减速器运行最后一个减速器任务。我该怎么做？

【参考方案1】：

也许：

SET mapreduce.job.reduces=XX

取自：How do you force the number of reducers in a map reduce job to be higher? - Hortonworks

或许：

SET mapred.reduce.tasks=XX

发件人：hadoop - How does Hive choose the number of reducers for a job? - Stack Overflow

【参考方案2】：

我通过将 job.setNumReduceTasks(1) 放入包含我的映射器和减速器的 java 文件的 main 方法中解决了我的问题。