记一发Hive on tez的配置(Hive 3.1.1, Hadoop 3.0.3, Tez 0.9.1)

Posted Archi

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了记一发Hive on tez的配置(Hive 3.1.1, Hadoop 3.0.3, Tez 0.9.1)相关的知识,希望对你有一定的参考价值。

直接下载Tez的binary包部署安装是有问题的,因为默认支持hadoop版本为2.7,2.7以上的就需要手动编译了。

  1. 下载Tez源码

  2. CD到源码文件夹,mvn install -Dhadoop.version=3.0.3 -DskipTests -Dmaven.javadoc.skip=true
    这里有个需要注意的地方,tez-ui的编译会很麻烦,因为伟大的墙。实在编译不过就跳过tez-ui模块吧……不影响其他部分的编译。

编译成功后,后面的步骤参考:https://blog.csdn.net/zhoudetiankong/article/details/52238551
这里就不冗余的介绍了。



以上是关于记一发Hive on tez的配置(Hive 3.1.1, Hadoop 3.0.3, Tez 0.9.1)的主要内容,如果未能解决你的问题,请参考以下文章

hive on tez配置

hive on tez 错误记录

Hive-3.1.1 + Tez-0.9.1

Hive on Tez

hive on spark VS SparkSQL VS hive on tez

hive on spark VS SparkSQL VS hive on tez