hive 相关异常

Posted 沙中世界

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了hive 相关异常相关的知识,希望对你有一定的参考价值。

内存不够:

set mapreduce.map.memory.mb=4096;
set mapreduce.map.java.opts=-Xmx3280m;

set mapreduce.reduce.memory.mb=4096;
set mapreduce.reduce.java.opts=-Xmx3280m;

或者设置每一个任务的最大数据处理量:

set hive.exec.reducers.bytes.per.reducer=500000000;

或者设置任务数目:

set mapred.reduce.tasks = 15;

set mapred.map.tasks = 15;

 

以上是关于hive 相关异常的主要内容,如果未能解决你的问题,请参考以下文章

Hive - 内存不足异常 - Java 堆空间

Hive Udf 异常

Hive 查询失败并出现分析异常

Hive 异常情况

集群异常上的 Hive AvroSerde

解析异常 EOF Hive