数据湖数据仓库数据中台

Posted 2021-04-24 云容灾备份安全治理

数据湖、数据仓库和数据中台，他们并没有直接的关系，只是他们为业务产生价值的形式有不同的侧重。

数据湖

数据湖作为一个集中的存储库，可以在其中存储任意规模的所有结构化和非结构化数据。在数据湖中，可存储数据不需要对其进行结构化，就可以运行不同类型的分析。

数据湖（Data Lake）是一个存储企业的各种各样原始数据的大型仓库，其中数据可供存取、处理、分析及传输。数据湖是以其自然格式存储的数据的系统或存储库，通常是对象blob或文件。数据湖通常是企业所有数据的单一存储，包括源系统数据的原始副本，以及用于报告、可视化、分析和机器学习等任务的转换数据。数据湖可以包括来自关系数据库（行和列）的结构化数据，半结构化数据（CSV，日志，XML，JSON），非结构化数据（电子邮件，文档，PDF）和二进制数据（图像，音频，视频）。来源：维基百科。

数据湖能从以下方面帮助到企业：

• 实现数据治理（data governance）。

• 通过应用机器学习与人工智能技术实现商业智能。

• 预测分析，如领域特定的推荐引擎。

• 信息追踪与一致性保障。

• 根据对历史的分析生成新的数据维度。

• 有一个集中式的能存储所有企业数据的数据中心，有利于实现一个针对数据传输优化的数据服务。

• 帮助组织或企业做出更多灵活的关于企业增长的决策。

数据仓库

数据仓库，也称为企业数据仓库，是一种数据存储系统，它将来自不同来源的结构化数据聚合起来，用于业务智能领域的比较和分析，数据仓库是包含多种数据的存储库，并且是高度建模的。

数据中台

数据中台是一个承接技术，引领业务，构建规范定义的、全域可连接萃取的、智慧的数据处理平台，建设目标是为了高效满足前台数据分析和应用的需求。数据中台距离业务更近，能更快速的相应业务和应用开发的需求，可追溯，更精准。

台战略核心是数据服务的共享。中台战略并不是搭建一个数据平台，但是中台的大部分服务都是围绕数据而生，数据中台是围绕向上层应用提供数据服务构建的，中台战略让数据在数据平台和业务系统之间形成了一个良性的闭环，也就是实现应用与数据之间解藕，并实现紧密交互。

• 敏捷前台：一线作战单元，强调敏捷交互及稳定交付的组织能力建设。

• 业务中台：能力固化与赋能，固化通用能力，赋能前线部队，提升配置效率，加快前线响应，产品化业务化，开辟全新生态。

• 数据中台：资产整合与共享，整合多维数据，统一资产管理，连通数据孤岛，共享数据资源，深入挖掘数据，盘活资产价值。

• 稳定后台：以共享中心建设为核心，为前中台提供专业的内部服务支撑。

数据湖、数据仓库更多地是面向不同对象的不同形态的数据资产。而数据中台更多强调的是服务于前台，实现逻辑、标签、算法、模型的复用沉淀。

数据中台是指通过企业内外部多源异构的数据采集、治理、建模、分析，应用，使数据对内优化管理提高业务，对外可以数据合作价值释放，成为企业数据资产管理中枢。数据中台建立后，会形成数据API，为企业和客户提供高效各种数据服务。

数据中台整体技术架构上采用云计算架构模式，将数据资源、计算资源、存储资源充分云化，并通过多租户技术进行资源打包整合，并进行开放，为用户提供“一站式”数据服务。

利用大数据技术，对海量数据进行统一采集、计算、存储，并使用统一的数据规范进行管理，将企业内部所有数据统一处理形成标准化数据，挖掘出对企业最有价值的数据，构建企业数据资产库，提供一致的、高可用大  数据服务。

数据中台不是一套软件，也不是一个信息系统，而是一系列数据组件的集合，企业基于自身的信息化建设基础、数据基础以及业务特点对数据中台的能力进行定义，基于能力定义利用数据组件搭建自己的数据中台。

数据中台像一个“数据工厂”，涵盖了数据湖、数据仓库等存储组件，随着数据中台的发展，未来很有可能数据湖和数据仓库的概念会被弱化。

小 结

数据空间持续增长，为了更好地发挥数据价值，未来数据技术趋于融合，同时也在不断创新。数据仓库、数据湖、数据中台等内涵作了详细说明，便于读者更好的理解和掌握数据领域相关概念

数据中台更好的支撑数据预测分析、跨领域分析、主动分析、实时分析、多元化结构化数据分析，数据中台建设是我们企业数据服务和共享奠定重要的基础，可以加速从数据到价值的过程，打造相应业务能力。