95-910-150-源码-FlinkSQL-Flink SQL 的元数据管理

Posted 2021-10-31 九师兄

1.美图

2.概述

为了使用 SQL，一个首先需要解决的是元数据管理的问题。元数据的管理包括表的元数据和 UDF 的元数据，这使得完全使用 SQL 语句来构建实时任务成为可能。

3.Catalog 和 CatalogManager

​ 在 1.9 版本发布之前，Flink SQL 完全借助于 Calcite 的 Schema 接口来管理注册的表，并且提供了 ExternalCatalog 接口，通过 TableDescriptor 定义外部系统数据的来源，从而访问到外部系统的数据。但是 ExternalCatalog 的定义不是非常完整，并且不太方便和 Hive 等已有的元数据管理进行集成。为此，Flink SQL 重构并提供了 Catalog 接口，Catalog 接口能够支持数据库、表、函数、甚至于分区等多种抽象。通过 CatalogManager，可以同时在一个会话中挂载多个 Catalog，从而访问到多个不同的外部系统。