企业级调优
Posted 亿钱君
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了企业级调优相关的知识，希望对你有一定的参考价值。
第 10 章 企业级调优
1. 执行计划（Explain）
案例实操：没有生成 MR 任务的
案例实操：有生成 MR 任务的
2. Fetch 抓取
3. 本地模式
Hive 可以通过本地模式在单台机器上处理所有的任务。对于小数据集，执行时间可以明显被缩短。
案例实操：
（1）开启本地模式，并执行查询语句
hive (default)> set hive.exec.mode.local.auto=true;
hive (default)> select count(*) from emp group by deptno;
（2）关闭本地模式（默认是关闭的），并执行查询语句
hive (default)> select count(*) from emp group by deptno;
4. 表的优化
4.1 小表大表 Join（MapJOIN）(已优化，无关系了)
4.2 大表 Join 大表
4.3 Group By
4.4 Count(Distinct) 去重统计
4.5 笛卡尔积
4.6 行列过滤
4.7 分区、 分桶
5. 合理设置 Map 及 Reduce 数
5.1 复杂文件增加 Map 数
5.2 小文件进行合并
5.3 合理设置 Reduce 数
6. 并行执行
7. 严格模式
8. JVM 重用
详见 hadoop 优化文档中 jvm 重用
9. 压缩
以上是关于企业级调优的主要内容，如果未能解决你的问题，请参考以下文章