mac spark和hive整合(spark on hive)

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了mac spark和hive整合(spark on hive)相关的知识,希望对你有一定的参考价值。

参考技术A 1、将hive-site.xml复制一份到 spark/conf 下面
2、在hive-site.xml 原有配置的基础上添加配置:

3、如果遇到以下异常,使用:hadoop fs -chmod -R 777 /tmp/hive,授予权限

什么是Hive on Spark

hive默认计算引擎是mapreduce,hive on spark是搞hive的开发者将计算引擎换成spark
对应的有spark sql,这是spark的开发者写的访问hive数据的sql引擎。两者开发者不同。
如果你搞hive的话,建议可以再了解下hive on tez,又叫Stinger
参考技术A hive在这里与spark结合,使得spark利用sparksql可以图形化的查询。

以上是关于mac spark和hive整合(spark on hive)的主要内容,如果未能解决你的问题,请参考以下文章

Spark-Sql整合hive,在spark-sql命令和spark-shell命令下执行sql命令和整合调用hive

Hive on Spark

什么是Hive on Spark

什么是Hive on Spark

Spark和Hive的整合

hive on spark僵死问题分析