hive启动报错(整合spark)
Posted mediocreworld
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了hive启动报错(整合spark)相关的知识,希望对你有一定的参考价值。
spark整合hive后,hive启动报错:
ls: cannot access /export/servers/spark/lib/spark-assembly-*.jar: No such file or directory
原因:spark版本升级到2.x以后,原有lib目录下的大JAR包被分散成多个小JAR包,原来的spark-assembly-*.jar已经不存在,所以hive没有办法找到这个JAR包。
解决方法:打开hive下面的bin目录,找到hive文件,编辑hive文件,找到如下一行:
sparkAssemblyPath=`ls $SPARK_HOME/lib/spark-assembly-*.jar`
修改为如下一行:
sparkAssemblyPath=`ls $SPARK_HOME/jars/*.jar`
以上是关于hive启动报错(整合spark)的主要内容,如果未能解决你的问题,请参考以下文章