何时使用 Hive 引擎 MR，何时使用 TEZ？

Posted 2023-04-18

【中文标题】何时使用 Hive 引擎 MR，何时使用 TEZ？

【英文标题】：When to use Hive engine MR and when to use TEZ?

【发布时间】：2016-07-02 00:38:01

【问题描述】：

在什么情况下使用 Hive 引擎 TEZ 优于 MR？

各有什么优缺点？

【参考方案1】：

TEZ 与 MR 相同，只是速度更快。查询越复杂，TEZ 的好处就越大。所以 TEZ 在工作时总是更可取。

Tez 通过为单个作业提供执行复杂 DAG（有向无环图）任务的能力，将 MapReduce 范式推广到更强大的框架。 当计划通过 map-reduce 原语实现时，不可避免地存在许多作业边界，这会为持久存储和作业启动引入读/写开销，并且可能会错过简单的优化机会，例如工作节点重用和暖缓存.

当然，在您的 TEZ 版本中还有一些错误尚未解决 - 这是您在 TEZ 上实施某些特定解决方案时可能面临的唯一问题。

虽然 MR 更成熟，但 Hive-on-MR 在 Hive 2 中已弃用，并且可能在未来的版本中不可用。

另请阅读：

Difference between MR and Tez

还有这个：

Introducing Tez