Hive 任务卡在 map = 0%, reduce = 0%

Posted Alex Hub

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Hive 任务卡在 map = 0%, reduce = 0%相关的知识,希望对你有一定的参考价值。

Hive 卡在map = 0%, reduce = 0%阶段

解决:增加map个数,设置mapreduce.input.fileinputformat.split.maxsize 小于系统默认值,需要综合考虑调用更多map时候的消耗

定位时发现任务卡在map = 0%, reduce = 0%阶段,而且发现map分配数量很少,所以猜测分配map较慢,增加map数量可解决问题。

以上是关于Hive 任务卡在 map = 0%, reduce = 0%的主要内容,如果未能解决你的问题,请参考以下文章

hive如何调整map数和reduce数

Hive中Map任务和Reduce任务数量计算原理

Hive中Map任务和Reduce任务数量计算原理

Chd 5.4.0 的 map 和 reduce 问题

hive优化之------控制hive任务中的map数和reduce数

hive优化之——控制hive任务中的map数和reduce数