Flink sql的实现

Posted 2022-11-22 张包峰

SQL Impl in Flink

跟了下Flink Table里sql的实现，flink sql的实现比较简单，一句话概述就是：借助Apache Calcite做了sql解析、逻辑树生成的过程，得到Calcite的RelRoot类，生成flink的Table，Table里的执行计划会转化成DataSet的计算，经历物理执行计划优化等步骤。

类比Spark SQL，Calcite代替了大部分Spark SQL Catalyst的工作(Catalyst还包括了Tree/Node的定义，这部分代码Flink也’借鉴’来了)。两者最终是计算一颗逻辑执行计划树，翻译成各自的DataSet(Spark 2.0引入Dataset并统一DataFrame，隐藏RDD到引擎内部这层，类似于执行层内部的物理执行节点)。

Calcite Usage

最新Flink代码里，在flink-table工程里，使用1.7版本的calcite-core。

大致的执行过程如下：

1. TableEnvironment.sql()为调用入口
2. 类似Calcite的PlannerImpl，flink实现了个FlinkPlannerImpl，执行parse(sql)，validate(sqlNode)，rel(sqlNode)操作
3. 生成Table

  override def sql(query: String): Table = 

    val planner = new FlinkPlannerImpl(getFrameworkConfig, getPlanner)
    // parse the sql query
    val parsed = planner.parse(query)
    // validate the sql query
    val validated = planner.validate(parsed)
    // transform to a relational tree
    val relational = planner.rel(validated)

    new Table(this, LogicalRelNode(relational.rel))
  

LogicalRelNode是flink执行计算树里的叶子节点。其他节点的实现类最终都会转化成Calcite的RelBuilder生成一个可被Calcite继续执行计划优化的plan，逻辑在TableEnv的translate(table)方法里。

 protected def translate[A](table: Table)(implicit tpe: TypeInformation[A]): DataSet[A] = 

    val relNode = table.getRelNode

    // decorrelate
    val decorPlan = RelDecorrelator.decorrelateQuery(relNode)

    // optimize the logical Flink plan
    val optProgram = Programs.ofRules(FlinkRuleSets.DATASET_OPT_RULES)
    val flinkOutputProps = relNode.getTraitSet.replace(DataSetConvention.INSTANCE).simplify()

    val dataSetPlan = try 
      optProgram.run(getPlanner, decorPlan, flinkOutputProps)
    
    catch 
      // ...
    

    dataSetPlan match 
      case node: DataSetRel =>
        node.translateToPlan(
          this,
          Some(tpe.asInstanceOf[TypeInformation[Any]])
        ).asInstanceOf[DataSet[A]]
      case _ => ???
    
  

在Programs.ofRules(FlinkRuleSets.DATASET_OPT_RULES)里，flink根据Calcite的接口定义了几个将最终物理计划转化为DataSet的Rule：

    // translate to Flink DataSet nodes
    DataSetAggregateRule.INSTANCE,
    DataSetCalcRule.INSTANCE,
    DataSetJoinRule.INSTANCE,
    DataSetScanRule.INSTANCE,
    DataSetUnionRule.INSTANCE,
    DataSetSortRule.INSTANCE,
    DataSetValuesRule.INSTANCE,
    BatchTableSourceScanRule.INSTANCE

每条规则会对应生成一个物理节点，org.apache.flink.api.table.plan.nodes.dataset package下。节点内，根据Calcite生成的sql的执行步骤，会进行codegen出DataSet的执行Function代码，在org.apache.flink.api.table.runtime package下，目前生成三种ds操作: FlatMapRunner， FlatJoinRunner， 和MapRunner.

codegen部分与Spark SQL的结构相类似。

Calcite在Flink中的使用也比较基本，单测sql package下的case就可以走通上面的调用过程。

整体Flink sql上的功能和实现要比Spark SQL简单很多。并可能存在许多借鉴之处。