有没有办法在Scalding中指定映射器的数量？

Posted 2021-04-20

我是新生的烫伤世界。我的烫伤工作将有多个阶段，我需要单独调整每个阶段。

我发现我们可以通过使用withReducers来改变减速器的数量。此外，我可以通过作业配置设置输入数据的分割大小。但是，我没有看到有任何方法可以动态更改子任务的映射器数量。

我错过了什么？有谁知道如何指定我的子任务的映射器数量？谢谢。

答案

得到一些答案/想法可能对共享相同问题的其他人有所帮助。

与映射器相比，控制减速器要容易得多。

映射器由hadoop控制，没有类似的简单旋钮。您可以设置一些配置参数，以便让hadoop知道要启动多少个地图任务。

这种堆栈溢出可能会有所帮助：Setting the number of map tasks and reduce tasks

我能想到的一个解决方法是将主要任务更改为小任务，您可以单独调整输入数据的大小（映射器数）。