Windows 下 Spark+Hadoop+Scala 安装

Posted 2022-01-02 OkidoGreen

整体流程可参考，但文中的版本较低

Spark学习笔记--Spark在Windows下的环境搭建 - 法号阿兴 - 博客园 (cnblogs.com)https://www.cnblogs.com/xuliangxing/p/7279662.html首先需要对应好 三者的版本，本文安装的版本如下

Spark

版本：spark-3.1.2-bin-hadoop3.2.tgz

链接：Apache Downloadshttps://www.apache.org/dyn/closer.lua/spark/spark-3.1.2/spark-3.1.2-bin-hadoop3.2.tgz原因：尝试安装3.2.0，发现spark-shell启动后会报错，可参考：Spark安装问题：ERROR SparkContext: Error initializing SparkContext. java.lang.reflect.InvocationTargetException - codedogzlc - 博客园 (cnblogs.com)https://www.cnblogs.com/codedogzlc/p/15432124.html

Hadoop 

版本：hadoop-3.2.0.tar.gz

链接：Index of /dist/hadoop/common/hadoop-3.2.0 (apache.org)https://archive.apache.org/dist/hadoop/common/hadoop-3.2.0/

原因：与 Spark 版本后匹配的 Hadoop版本一致

1、hadoop单独启动时招不到JAVA_HOME，参考

(472条消息) Hadoop 找不到 JAVA_HOME 环境变量无法启动问题解决_z69183787的专栏-CSDN博客https://blog.csdn.net/z69183787/article/details/1217921122、其中 Windows 中需要安装 winutils.exe文件，版本需与hadoop版本一一对应，可参考

github下载：

winutils/hadoop-3.2.0/bin at master · cdarlint/winutils (github.com)https://github.com/cdarlint/winutils/tree/master/hadoop-3.2.0/bin 参考：

(471条消息) Hadoop3.2.1、Hadoop3.2.0还有之前的版本的winutils.exe和hadoop.dll_九天安属的博客-CSDN博客_hadoop3.2.2 winutilshttps://blog.csdn.net/qq_39238947/article/details/105382308hadoop本机运行 解决winutils.exe的问题 - 我的肉夹馍啊 - 博客园 (cnblogs.com)https://www.cnblogs.com/roujiamo/p/10053674.html

Scala

版本：2.12.0

链接：All Available Versions | The Scala Programming Language (scala-lang.org)https://www.scala-lang.org/download/all.html

原因：mvn仓库中会告知对应 Spark 版本 需要安装的 Scala 版本

Maven Repository: org.apache.spark » spark-core (mvnrepository.com)https://mvnrepository.com/artifact/org.apache.spark/spark-core 

实战

运行example项目，单机下命令如下：

spark-submit --class org.apache.spark.examples.JavaSparkPi  --master local[*] C:\\Users\\zhoushun\\Desktop\\Spark\\examples\\jars\\spark-examples_2.12-3.1.2.jar