Hive源码系列编译模块之整体介绍

Posted 2021-04-29 数据仓库践行者

这次主要对Hive编译模块做整体介绍，后面会针对流程中的每一步做详细分析

1、Hive执行过程回顾

client:用户通过客户端提交查询操作

Driver:提供执行接口，负责接收查询请求并建立session，创建一系列环境参数等

Compiler:Hive的编译器，负责将sql转化为平台可执行的执行计划

MetaStore:Hive的元数据服务器

Execution Engine:执行引擎，负责提交Compiler 编译好的执行计划到不同的平台上

 

用户通过client向Driver提交Hive Sql，Driver将Sql交给Complier，由Complier生成执行计划，Complier生成执行计划的过程需要与MetaStore做交互来获取Sql相关表，字段等属性信息，执行计划生成后，将执行计划交给Driver,Driver通过Execution Engine把执行计划提交相应平台执行，最后把执行的结果返回给用户。

 

这次我们主要分析的模块就是Compiler ，Hive的编译模块

2、Hive sql的编译流程

词法、语法解析: Antlr定义SQL的语法规则，完成SQL词法，语法解析，将SQL转化为抽象语法树AST Tree

语义解析: 遍历AST Tree，抽象出查询的基本组成单元QueryBlock

生成逻辑执行计划: 遍历QueryBlock，翻译为执行操作树OperatorTree

优化逻辑执行计划: 逻辑层优化器进行OperatorTree变换，合并Operator，达到减少MapReduce Job，减少数据传输及shuffle数据量

生成物理执行计划: 遍历OperatorTree，翻译为MapReduce任务

优化物理执行计划: 物理层优化器进行MapReduce任务的变换，生成最终的执行计划

3、Hive sql的编译的代码流程

（完）