hive集群tez引擎执行任务报错
Posted 小企鹅推雪球!
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了hive集群tez引擎执行任务报错相关的知识,希望对你有一定的参考价值。
文章目录
问题描述
- 更换tez引擎后,如果执行任务卡住,修改调节容量调度器的资源调度策略,修改以下配置信息
cd 你的Hadoop位置/etc/hadoop/
vim tez-site.xml
<!--容器给AM分配的资源-->
<property>
<name>tez.am.resource.memory.mb</name>
<value>1024</value>
</property>
<property>
<name>tez.am.resource.cpu.vcores</name>
<value>1</value>
</property>
<!--堆占整个资源的占比 -->
<property>
<name>tez.container.max.java.heap.fraction</name>
<value>0.4</value>
</property>
<!--容器给task分配的资源 -->
<property>
<name>tez.task.resource.memory.mb</name>
<value>1024</value>
</property>
<property>
<name>tez.task.resource.cpu.vcores</name>
<value>1</value>
</property>
vim capacity-scheduler.xml
将以下value调成1
<!--AM所占集群最大资源占比-->
<property>
<name>yarn.scheduler.capacity.maximum-am-resource-percent</name>
<value>1</value>
<description>
Maximum percent of resources in the cluster which can be used to run
application masters i.e. controls number of concurrent running
applications.
</description>
</property>
向集群分发capacity-scheduler.xml文件
以上是关于hive集群tez引擎执行任务报错的主要内容,如果未能解决你的问题,请参考以下文章