使用 IntelliJ idea 的 Scala 工作表作为 Apache Spark 的 Scala REPL

Posted 2023-04-18

【中文标题】使用 IntelliJ idea 的 Scala 工作表作为 Apache Spark 的 Scala REPL

【英文标题】：Use IntelliJ idea's Scala worksheet as a Scala REPL for Apache Spark

【发布时间】：2019-02-27 16:06:36

【问题描述】：

是否可以在 IntelliJ 中使用 Scala 工作表作为 Jupyter 笔记本的替代品。 我遵循了提到的解决方案 here ，但是它在本地而不是在远程集群上运行代码。我的主要挑战是 IntelliJ IDE 在我的笔记本电脑上本地运行，而 spark 集群在云中。如何让 IntelliJ 使用远程 SBT？

【参考方案1】：

如果您只是尝试以更具交互性/即席方式的教程来学习 Spark 编程和概念，那么您在帖子中提到的链接就是您将如何做到的。在这种模式下，您基本上是在模拟一个单节点 Spark 集群（即您的本地机器），它既充当驱动程序节点，又充当执行程序节点（多合一）。

但是，在更真实的场景中，这并不是您在 ACTUAL Spark 集群上实际提交和运行 Spark 应用程序的方式。如果这就是您想要做的，您需要改用 Spark 提供的两种 部署 模式之一：客户端模式和集群模式。您将使用“spark-submit”命令行实用程序将已编译的 Spark 库（胖 JAR）作为 Spark 作业提交。更多详情here.