Apache Crunch 管道如何生成 map reduce 作业？

Posted 2023-04-18

【中文标题】Apache Crunch 管道如何生成 map reduce 作业？

【英文标题】：How does Apache Crunch pipeline generate map reduce jobs?

【发布时间】：2015-10-06 01:06:50

【问题描述】：

我不熟悉诸如 Crunch/Cascading 之类的 hadoop 管道框架。我想知道在这些框架的底部，它们是否会生成原始的映射器和减速器类，就像原始的 MapReduce 程序一样？从 Crunch 源代码中，我没有找到将管道转换为原始 MapReduce 类的代码。

【参考方案1】：

您可以使用代码中的以下行来可视化 MapReduce 计划 crunch 创建的。将 pipeline.dot 中创建的 DOT 代码复制到 graphviz 以查看计划。

String dot = pipeline.getConfiguration().get("crunch.planner.dotfile");
Files.write(dot, new File("pipeline.dot"), Charsets.UTF_8);