在2020年，你的数据仓库和基础设施需要满足哪些需求？

Posted 2021-04-24 DataFunTalk

在2020年，你的数据仓库和基础设施需要满足哪些需求？

我们总结了几下几点：

首先，当下的企业正快速转向更实时化的模式，这要求企业具备对线上流式数据进行低延迟处理的能力，以满足实时（real-time）或近实时（near-real-time）的数据分析需求。人们对从数据产生到数据可用之间延迟的容忍度越来越低。曾经几个小时甚至几天的延误不再被接受。用户期待的是几分钟甚至几秒钟的数据端到端体验。

第二，数据基础设施需要具备同时处理线上和线下数据的能力，两种模式在实际应用中都不可或缺。除了上面提到的流处理，用户也需要批处理做即席查询（ad-hoc query）和数据挖掘。数据基础设施不应该要求用户二选一，而应该提供两个选项并且都是高质量的。

第三，数据工程师、数据科学家、分析师和运维人员都在渴望一套统一的数据技术栈，以便更轻松的使用。大数据领域的技术栈已经支离破碎很多年了，企业可能有一套流处理系统，一套批处理系统，一套线上数据分析系统。这基本都是由于当年流处理框架不够成熟而被迫采用过时的 lambda 架构造成的问题。现在不同了，流处理已成为主流，终端用户不必再学习多种技能和维护各种复杂的工具和数据处理管道（data pipeline）。用户渴望的是一套统一的简单易学易维护的方案。

如果你对以上问题深有同感，那说明这篇文章很适合你。我们来看看如何真正解决这个问题。

接下来我将带各位了解下 Flink 与 Hive 生产级别的整合工作。

Flink 与 Hive 生产级整合

Flink 一直遵循“ 流优先，批是流的一个特例”的思想理念。在这一思想的指导下，Flink 将最先进的流式处理技术运用到批处理中，使得 Flink 的批处理能力一早就令人印象深刻。特别是在 Flink 1.10 中我们基本完成了从1.9开始的对 Blink planner 的整合工作后，Flink SQL 的批处理能力更上一层楼。

Hive 在大数据生态中已成为标准的数据仓库组件。它不仅仅是一个 SQL 引擎，也是一个数据管理系统。但由于自身的局限，Hive 在当下面临很大的挑战，也无法满足的用户需求。

基于此，我们从 Flink 1.9 推出了 Flink 和 Hive 整合的 beta 版本。在过去几个月中，我们基于用户的反馈，在各个方面都对产品进行了加强。我很高兴的宣布，Flink 和 Hive 的整合在 Flink 1.10 版本中能实现生产可用！

下面来为大家介绍一些细节。

统一的元数据管理

Hive Metastore 已逐渐成为 Hadoop 生态中元数据管理的中枢。很多公司都用 Hive Metastore 管理他们的 Hive 甚至非 Hive 的元数据。

Flink 1.9 中我们推出了 Flink 的 HiveCatalog，将 Flink 对接 Hive Metastore 中丰富的元数据。HiveCatalog 有两层作用。

• 一是它允许 Flink 用户将 Flink 本身的元数据，包括表、函数等，存储到 Hive Metastore 中。

• 二是它允许 Flink 使用 Hive Metastore 中已有的 Hive 元数据，使得 Flink 可以读写 Hive 的表。

Flink 1.10 中的新功能是用户可以对接几乎所有版本的 Hive Metastore。这里有一个例子是如何将 Flink 的 Kafka 表元数据存储到 Hive Metastore 中。

代码示例：
https://ci.apache.org/projects/flink/flink-docs-release-1.10/dev/table/hive/hive_catalog.html#example

流处理

由于 Hive 自身的缺陷，用户无法获得实时数据导入的能力。但通过与 Flink 的整合，用户可以解锁一些其他很有用的场景，比如：

• 对 Flink 的实时数据和 Hive 的离线数据做 join
• 通过 Flink 回填 Hive 的数据

Hive 版本兼容

在 Flink 1.10 中，我们兼容了几乎所有 Hive 1.x, 2.x, 3.x 的版本。

复用 Hive 函数

在 Flink 1.9 中用户已经可以复用 Hive UDF。这对 Hive 用户是极大的利好，因为用户不需要再重新开发函数，省时省力。

Flink 1.10 引入了 module 的概念，并通过 HiveModule 支持了所有 Hive 自带的函数（built-in functions）。Hive 社区在过去很多年积累了数量可观的有用的自带函数，这将方便用户在 Flink 更好地完成他们的工作。

加强读写 Hive 数据

1.10 加强了对 Hive 数据读写的支持。

在读方面，Flink 可以读取 Hive 的分区表和视图（view）；同时，我们添加了很多读优化，比如分区裁剪（partition-pruning）和 projection pushdown 来减少从文件系统摄入的数据；对 ORC 文件，我们加入了向量化读取。

在写方面，Flink 引入了“INSERT INTO” 和 “INSERT OVERWRITE” 语法；此外，Flink 可以静态和动态写入 Hive 分区表。

更多的数据类型

1.10 中我们支持了更多的常用 Hive 类型。

后续规划

社区计划在用户反馈的基础上进一步优化两个系统间的整合。一些 1.11 的目标包括：

• Hive 的 near-real-time streaming sink
• 原生 Parquet 文件读取
• 额外的交互性 - 允许用户从 Flink 创建 Hive 的表和函数等
• 更好地开箱即用性
• Hive 语法的支持

数仓正在向更实时化的方向发展，与 Flink 的紧密结合会使这个趋势向前更进一步。

Flink 1.10 中与 Hive 在元数据和数据领域生产级别的结合，都能使用户更好地解决实际问题，为业务带来更多价值。

本次的分享就到这里，谢谢大家。

---

---

社群推荐：

欢迎加入 DataFunTalk 大数据技术交流群，跟同行零距离交流。如想进群，请加逃课儿同学的微信 ( 微信号：DataFunTalker  )，回复：大数据，逃课儿会自动拉你进群。

文章推荐：

关于我们：

DataFunTalk  专注于大数据、人工智能技术应用的分享与交流。发起于2017年，在北京、上海、深圳、杭州等城市举办超过100场线下沙龙、论坛及峰会，已邀请近500位专家和学者参与分享。其公众号 DataFunTalk 累计生产原创文章400+，百万+阅读，5万+精准粉丝。

一个在看，一段时光！