除了 Spark 发布包，我还需要安装其他东西吗？

Posted 2023-04-15

【中文标题】除了 Spark 发布包，我还需要安装其他东西吗？

【英文标题】：Do I need to install something else besides Spark release package?

【发布时间】：2020-03-14 00:07:39

【问题描述】：

似乎有两种安装 Spark 的方法。

通过从https://spark.apache.org/downloads.html 下载预构建的 Spark 版本（例如 spark-2.4.5-bin-hadoop2.7.tgz）来安装 Spark 时，

我是否需要通过安装 JRE 额外安装 java 命令？

安装JDK需要额外安装java编译器javac吗？

我是否需要额外安装 scala 编译器？ （我猜不是，因为我看到下载的 Spark 版本包含 ./jar/scala-compiler.jar.)

我需要额外安装 pyspark 吗？ （我猜不是，因为我看到下载的 Spark 版本包含 ./bin/pyspark。）

通过运行pip install pyspark 安装 Spark 时，是否 已经为 Java 和 Scala 安装了 spark？还是我需要 另外安装一些东西以便对 Spark 进行编程 Java 和 Scala 中的应用程序？

谢谢。

【参考方案1】：

https://spark.apache.org/faq.html

是否需要通过安装 JRE 额外安装 java 命令？

是的，请参阅常见问题解答。

安装JDK需要额外安装java编译器javac吗？

没有。我猜没有，但我总是使用 sdk。

我需要额外安装 scala 编译器吗？ （我猜不是，因为我看到下载的 Spark 版本包含 ./jar/scala-compiler.jar。）

没有

我需要额外安装 pyspark 吗？ （我猜不是，因为我看到下载的 Spark 版本包含 ./bin/pyspark。）

没有

通过运行 pip install pyspark 安装 Spark 时，它是否已经为 Java 和 Scala 安装了 Spark？

是的。

tree .venv/lib/python3.6/site-packages/pyspark/bin
.venv/lib/python3.6/site-packages/pyspark/bin
├── beeline
├── beeline.cmd
├── docker-image-tool.sh
├── find-spark-home
├── find-spark-home.cmd
├── load-spark-env.cmd
├── load-spark-env.sh
├── pyspark
├── pyspark.cmd
├── pyspark2.cmd
├── run-example
├── run-example.cmd
├── spark-class
├── spark-class.cmd
├── spark-class2.cmd
├── spark-shell
├── spark-shell.cmd
├── spark-shell2.cmd
├── spark-sql
├── spark-sql.cmd
├── spark-sql2.cmd
├── spark-submit
├── spark-submit.cmd
├── spark-submit2.cmd
├── sparkR
├── sparkR.cmd
└── sparkR2.cmd

或者我是否需要额外安装一些东西才能用 Java 和 Scala 编写 Spark 应用程序？

要在 scala 中编程，您需要安装 scala 以实际创建应用程序 jar。

我认为使用下载的版本更容易迁移以在集群中运行。