Spark 作业的输出可以用作另一个 Spark 作业的输入吗？

Posted 2023-04-15

【中文标题】Spark 作业的输出可以用作另一个 Spark 作业的输入吗？

【英文标题】：Can output of Spark job used as input for another Spark job?

【发布时间】：2015-10-02 01:41:47

【问题描述】：

我想将一个 Spark 作业的输出用作其他 Spark 作业的输入数据。有可能吗？

【问题讨论】：

How to share Spark RDD between 2 Spark contexts?的可能重复

【参考方案1】：

是的。只要输出存储在某个地方。

【参考方案2】：

这两个工作有什么区别？您可以在作业#2 中重新使用作业#1 中的RDD，或者（如前所述）您需要将其存储在某处并在作业#2 开始时从那里读取它。