大表 join 大表的思路
Posted MISAYAONE
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了大表 join 大表的思路相关的知识，希望对你有一定的参考价值。
参考 OLTP 的优化方式：
1：限制输入的行 （care 条件要写全）
2：限制输入的列 （无用的列不要 select ）
3：手动先分区再 join
4：采用 map 端的预聚合 map_side join
5：抽取倾斜 key 然后加随机前缀处理，倍数处理 B ，再 join，然后结果再 union 回去。
大数据开发实战：Hive优化实战3-大表join大表优化 - shaomine - 博客园
以上是关于大表 join 大表的思路的主要内容，如果未能解决你的问题，请参考以下文章
20亿与20亿表关联优化方法(超级大表与超级大表join优化方法)