在 spark RDD 中应该使用哪种方法来处理这种情况。解释？

Posted 2023-04-15

【中文标题】在 spark RDD 中应该使用哪种方法来处理这种情况。解释？

【英文标题】：Which method shall be used to handle such situation in spark RDD. Explain?

【发布时间】：2020-12-22 14:52:54

【问题描述】：

在从另一个 RDD rdd0 进行大量计算之后，您正在创建一个 RDD rdd1。然后我们需要经常使用rdd1。 rdd1 的大小非常小，我们在每个容器上都有足够的 RAM 可用。在 spark RDD 中应该使用哪种方法来处理这种情况。解释一下？

【参考方案1】：

使用cache将计算结果缓存在内存中，这样就不需要重新计算了：

rdd1 = # operations on rdd0
rdd1.cache()