hive中，动态添加map和reduce的大小，以增加并行度
Posted HarkLee
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了hive中，动态添加map和reduce的大小，以增加并行度相关的知识，希望对你有一定的参考价值。
map是配置mapred.max.split.size，来定义map处理文件的大小，默认是256000000字段，换算就是256M。 如果想增加map的并行度，那么就是减少map处理文件的大小即可。 即set mapred.max.split.size=xxx（更小的字节）
reduce和map是一致的，修改hive.exec.reducers.bytes.per.reducer这个参数
以上是关于hive中，动态添加map和reduce的大小，以增加并行度的主要内容，如果未能解决你的问题，请参考以下文章
hive优化之——控制hive任务中的map数和reduce数