非 mapreduce 应用程序如何在 YARN 中工作？

Posted 2023-04-18

【中文标题】非 mapreduce 应用程序如何在 YARN 中工作？

【英文标题】：How non mapreduce applications work in YARN?

【发布时间】：2015-12-30 08:44:44

【问题描述】：

通过使用 YARN，我们可以运行非 mapreduce 应用程序。

但它是如何工作的呢？

在 HDFS 中，所有都存储在块中。对于每个块，将创建一个映射器任务来处理整个数据集。

但非 mapreduce 应用程序，如何在不使用 mapreduce 的情况下处理不同数据节点中的数据集？

请解释一下。

【参考方案1】：

不要将 Map reduce 范式与其他应用程序（例如 Spark）混淆。 Spark 可以在 Yarn 下运行，但不使用映射器或减速器。

它使用执行器，这些执行器知道数据局部性，就像 mapreduce 一样。

spark Driver 将在数据节点上启动执行程序，并在这样做时尽量记住数据局部性。

也不要将 Map Reduce 默认行为与标准行为混淆。您不需要在每个输入拆分中使用 1 个映射器。

HDFS 和 Map Reduce 也是两个不同的东西。 HDFS 只是存储层，而 Map Reduce 处理处理。