同时使用 SparkR 和 Sparklyr

Posted 2023-02-14

【中文标题】同时使用 SparkR 和 Sparklyr

【英文标题】：Using SparkR and Sparklyr simultaneously

【发布时间】：2017-03-27 10:27:03

【问题描述】：

据我了解，这两个包为 Apache Spark 提供了相似但大部分不同的包装函数。 Sparklyr 较新，但仍需要在功能范围内增长。因此，我认为目前需要同时使用这两个包来获得全部功能。

由于这两个包本质上都包含对 Scala 类的 Java 实例的引用，我猜应该可以并行使用这些包。但这真的可能吗？您的最佳做法是什么？

【参考方案1】：

这两个包使用不同的机制，并不是为互操作性而设计的。它们的内部以不同的方式设计，并且不会以相同的方式暴露 JVM 后端。

虽然人们可以想到一些解决方案，允许与持久元存储进行部分数据共享（想到使用全局临时视图），但它的应用程序相当有限。

如果您需要两者，我建议您将管道分成多个步骤，并在这些步骤之间传递数据，使用持久存储。