用 Java 编写 Spark 独立程序的环境/工具是啥？

Posted 2023-04-18

【中文标题】用 Java 编写 Spark 独立程序的环境/工具是啥？

【英文标题】：Which environment/tool to write Spark standalone programs in Java?用 Java 编写 Spark 独立程序的环境/工具是什么？

【发布时间】：2014-11-18 12:16:00

【问题描述】：

我想用 Java 实现一个独立的 Spark 程序。我正在使用 Amazon 集群来运行应用程序。由于我是初学者，我想知道哪个是编写 Spark 程序的最佳环境。它还提供调试功能吗？ 目前，我正在本地机器上用 Eclipse 编写程序，并通过 Maven-Wagon 将 jar 导出到 AWS。问题是我无法使用调试。 任何帮助表示赞赏！

【参考方案1】：

如果你在本地模式下运行，你可以在eclipse中调试它。创建像 new JavaSparkContext("local[*]", "my app") 这样的 JavaSparkContext 将以本地模式运行您的应用程序。

【讨论】：

感谢您的回复。我只需要简单说明一下：我是否必须在本地计算机上安装 Spark？

我记得我可以在 Mac 或 Ubuntu 的 IDE 中直接运行本地应用程序。不确定 Windows。

我有一台 Windows 机器。我会尝试运行它并让你知道。再次感谢！

【参考方案2】：

你不需要在本地机器上安装 spark。只需在您的项目 POM 中添加 Spark、scala 依赖项并在 eclipse 中对其进行调试。像下面一样在 Confing 中传递本地，您可以调试您的代码。

SparkConf sparkConf = new SparkConf().setMaster("local").setAppName(应用程序名称)