Hive：第 10 章 企业级调优

Posted 2021-06-23 亿钱君

第 10 章 企业级调优

• 1. 执行计划（Explain）
• 2. Fetch 抓取
• 3. 本地模式
• 4. 表的优化
• • 4.1 小表大表 Join（MapJOIN）(已优化，无关系了)
  • 4.2 大表 Join 大表
  • 4.3 Group By
  • 4.4 Count(Distinct) 去重统计
  • 4.5 笛卡尔积
  • 4.6 行列过滤
  • 4.7 分区、 分桶
• 5. 合理设置 Map 及 Reduce 数
• • 5.1 复杂文件增加 Map 数
  • 5.2 小文件进行合并
  • 5.3 合理设置 Reduce 数
• 6. 并行执行
• 7. 严格模式
• 8. JVM 重用
• 9. 压缩

1. 执行计划（Explain）

案例实操：没有生成 MR 任务的

案例实操：有生成 MR 任务的

2. Fetch 抓取

3. 本地模式

Hive 可以通过本地模式在单台机器上处理所有的任务。对于小数据集，执行时间可以明显被缩短。

案例实操：
（1）开启本地模式，并执行查询语句

hive (default)> set hive.exec.mode.local.auto=true;
hive (default)> select count(*) from emp group by deptno;

（2）关闭本地模式（默认是关闭的），并执行查询语句

hive (default)> select count(*) from emp group by deptno;

4. 表的优化

4.1 小表大表 Join（MapJOIN）(已优化，无关系了)

4.2 大表 Join 大表

4.3 Group By

4.4 Count(Distinct) 去重统计

4.5 笛卡尔积

4.6 行列过滤

4.7 分区、 分桶

5. 合理设置 Map 及 Reduce 数

5.1 复杂文件增加 Map 数

5.2 小文件进行合并

5.3 合理设置 Reduce 数

6. 并行执行

7. 严格模式

8. JVM 重用

详见 hadoop 优化文档中 jvm 重用

9. 压缩