hive启动报错(整合spark)

Posted mediocreworld

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了hive启动报错(整合spark)相关的知识,希望对你有一定的参考价值。

spark整合hive后,hive启动报错:

ls: cannot access /export/servers/spark/lib/spark-assembly-*.jar: No such file or directory

原因:spark版本升级到2.x以后,原有lib目录下的大JAR包被分散成多个小JAR包,原来的spark-assembly-*.jar已经不存在,所以hive没有办法找到这个JAR包。

解决方法:打开hive下面的bin目录,找到hive文件,编辑hive文件,找到如下一行:

 sparkAssemblyPath=`ls $SPARK_HOME/lib/spark-assembly-*.jar`

修改为如下一行:

 sparkAssemblyPath=`ls $SPARK_HOME/jars/*.jar`

以上是关于hive启动报错(整合spark)的主要内容,如果未能解决你的问题,请参考以下文章

spark-shell启动spark报错

Spark SQL 报错总结

SparkStreaming整合Flume的pull方式之启动报错解决方案

springboot整合hive-jdbc遇到的坑

hive启动报错解决流程

SparkSQL——通过JDBC的方式访问