hive on spark

Posted xiqing

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了hive on spark相关的知识,希望对你有一定的参考价值。

hive on spark 的配置及设置CDH都已配置好,直接使用就行,但是我在用的时候报错,如下:

  技术分享图片

具体操作如下时报的错:
     在hive 里执行以下命令:
    set hive.execution.engine=spark;
    //set hive.execution.engine=mr;
    create table test as select * from fz;
时报的错,网上查了好多信息都不行,其实还是自己机器不行,需要调yarn的虚拟内存才行,具体如下:
我也不知道调了那个,以后在试吧
  技术分享图片

  技术分享图片

  技术分享图片

 

以上是关于hive on spark的主要内容,如果未能解决你的问题,请参考以下文章

SparkSQL远程访问CDH集群Hive数据表

sparkspark sql

SparkSpark对数据的读入和写出操作

SparkSpark SQL 物化视图技术原理与实践

Spark

黑猴子的家:Spark on hive 与 hive on spark 的区别