Hive 中推荐的优化技术都有哪些？

Posted 2023-04-18

【中文标题】Hive 中推荐的优化技术都有哪些？

【英文标题】：What are all the recommended optimization techniques in Hive?Hive 中推荐的优化技术有哪些？

【发布时间】：2016-06-06 05:52:46

【问题描述】：

我在编写查询时知道一些优化技术，例如分区和分桶。在 TEZ 模式下运行配置单元。但是，除此之外，hive 中还有其他优化技术。

【参考方案1】：

您可以设置至少以下参数进行性能优化：-

set set hive.exec.reducers.max=no_of_reducers; -- 并行处理的减速器数量。

set hive.exec.reducers.bytes.per.reducer=value_in_bytes; -- 将处理负载平均分配给每个 reducer。

set hive.auto.convert.join=true; -- 在运行时自动将连接转换为映射连接如果可能，

set hive.enforce.bucketing = true; -- 如果表被分桶需要写这个参数，不。桶数将等于否。的减速器。

【参考方案2】：

有很多技巧：

使用 Tez 使用 ORCFile 使用矢量化 基于成本的查询优化 编写正确高效的 SQL

请参阅以下 hortonworks 帖子了解更多详情：

http://hortonworks.com/blog/5-ways-make-hive-queries-run-faster/