win系统执行spark-sql报错:java.io.IOException: (null) entry in command string: null ls -F C: mphive

Posted ZH519080

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了win系统执行spark-sql报错:java.io.IOException: (null) entry in command string: null ls -F C: mphive相关的知识,希望对你有一定的参考价值。

在IDEA中运行Spark SQL读取hdfs文件时报java.io.IOException: (null) entry in command string: null ls -F C:\\tmp\\hive的错,
或者是报 Exception in thread "main" org.apache.spark.sql.AnalysisException: java.lang.RuntimeException: java.lang.RuntimeException: The root scratch dir: /tmp/hive on HDFS should be writable. Current permissions are:
是因为在win系统中执行spark的本地模式时,没有配置hadoop的环境变量。

备注:在spark、hadoop官网上下载后,解压到本地目录,即可执行spark的本地模式。

解决以上问题:

下载一个winutils.exe放在HADOOP_HOME\\bin路径下,配置Hadoop的环境变量:

https://blog.csdn.net/iamboluke/article/details/103878312

以上是关于win系统执行spark-sql报错:java.io.IOException: (null) entry in command string: null ls -F C: mphive的主要内容,如果未能解决你的问题,请参考以下文章

Apache Spark启动spark-sql报错

springboot 整合spark-sql报错

spark-sql执行流程分析

spark-sql 查询报错:Invalid method name: ‘get_table_req‘

win7下vscode终端执行cnpm报错

win7安装yarn后执行报错