win系统执行spark-sql报错:java.io.IOException: (null) entry in command string: null ls -F C: mphive
Posted ZL小屁孩
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了win系统执行spark-sql报错:java.io.IOException: (null) entry in command string: null ls -F C: mphive相关的知识,希望对你有一定的参考价值。
在IDEA中运行Spark SQL读取hdfs文件时报java.io.IOException: (null) entry in command string: null ls -F C:\\tmp\\hive
的错,
或者是报 Exception in thread "main" org.apache.spark.sql.AnalysisException: java.lang.RuntimeException: java.lang.RuntimeException: The root scratch dir: /tmp/hive on HDFS should be writable. Current permissions are:
是因为在win系统中执行spark的本地模式时,没有配置hadoop的环境变量。
备注:在spark、hadoop官网上下载后,解压到本地目录,即可执行spark的本地模式。
解决以上问题:
下载一个winutils.exe放在HADOOP_HOME\\bin路径下,配置Hadoop的环境变量:
https://blog.csdn.net/iamboluke/article/details/103878312
以上是关于win系统执行spark-sql报错:java.io.IOException: (null) entry in command string: null ls -F C: mphive的主要内容,如果未能解决你的问题,请参考以下文章