尝试在 Windows 上运行 Apache Spark 示例时出错

Posted 2023-04-18

【中文标题】尝试在 Windows 上运行 Apache Spark 示例时出错

【英文标题】：Getting an error while trying to run an Apache Spark example on Windows

【发布时间】：2021-07-26 08:32:32

【问题描述】：

我的设置：

火花版本 3.1.2

hadoop 3.2 版（为 apache hadoop 3.2 及更高版本预构建）

scala 版本 2.12.10

java 1.8 版

将 Apache Spark 存档文件安装到 C:\Users\anime\ApacheSpark\spark。

SPARK_HOME C:\Users\anime\ApacheSpark\spark

HADOOP_HOME C:\Users\anime\ApacheSpark\hadoop

将 Hadoop.dll 和 winutils.exe 从 here 复制到 %HADOOP_HOME%/bin

我从命令行开始运行以下几行代码作为示例 C:\Users\anime\ApacheSpark

`

val textFile = sc.textFile("spark/README.md")

val tokens = textFile.flatMap(l=>l.split(" "))

val cp = tokens.map(word=>(word, 1))

val counts = cp.reduceByKey((a, n)=>a+n)

val sortedCounts = counts.sortBy(kvpair=>kvpair._2, false)

sortedCounts.saveAsTextFile("NewFolder")

`

我得到一个很长的错误日志

错误 SparkHadoopWriter：正在中止作业 job_202107261357425367869624572589035_0010。 java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z..

我尝试过的事情：

将 hadoop.dll 复制到 C:\Windows\System32 在this 之后运行 winutils.exe chmod 777 NewFolder

谁能帮助我完成我的第一个示例？非常感谢。

【参考方案1】：

我刚刚遇到了同样的问题。仔细检查您的环境变量和 winutils 版本。

Docs

HADOOP_HOME=<your local hadoop-ver folder>
PATH=%PATH%;%HADOOP_HOME%\bin