Windows上安装运行Spark

Posted 2022-03-06 chevin

1.下载Scala: https://www.scala-lang.org/download/

①注意：必须下载官方要求的JDK版本，并设置JAVA_HOME,否则后面将出现很多麻烦！

②Scala当前最新版本为

 

2.安装后在cmd中输入scala出现如下提示表示成功

 

3.下载Spark:http://spark.apache.org/downloads.html

4.进入spark-2.3.3-bin-hadoop2.7\\bin，cmd中输入spark-shell

①出现下面错误，表示需要安装python。安装时选择加到系统路径中，安装完cmd中输入python验证是否安装成功。

②出现下面错误，表示找不到Hadoop。需要安装Hadoop并设置HADOOP_HOME的系统路径。关于Windows下的Hadoop安装，可以参考《Windows上安装运行Hadoop》。

③出现下面的WARN可以不用理会，正常使用。

如果实在受不了WARN的话，则在spark-2.3.3-bin-hadoop2.7\\conf\\log4j.properties(默认是有template后缀的，直接去掉这个后缀)中增加

log4j.logger.org.apache.hadoop.util.NativeCodeLoader=ERROR

④屏蔽后的显示

 

以上。