数据湖和数据仓库的区别是啥？

Posted 2023-02-14

数据湖就是一个集中存储数据库，用于存储所有结构化和非结构化数据。数据湖可用其原生格式存储任何类型的数据，这是没有大小限制。

数据仓库是位于多个数据库上的大容量存储库。它的作用是存储大量的结构化数据，并能进行频繁和可重复的分析。

数据科学家

可能会用具有预测建模和统计分析等功能的高级分析工具。而数据仓库就是数据仓库非常适用于月度报告等操作用途，因为它具有高度结构化。在架构中数据湖通常，在存储数据之后定义架构。使用较少的初始工作并提供更大的灵活性。

在数据仓库中存储数据之前定义架构。这需要你清理和规范化数据，这意味着架构的灵活性要低不少。

其实数据仓库和数据湖是我们都需要的地方，数据仓库非常适用于业务实践中常见的可重复报告。当我们执行不太直接的分析时，数据湖就很有用。

参考技术A

01 数据仓库

数据仓库(Data Warehouse)，也称为企业数据仓库，它是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合存储系统，它将来自不同来源的结构化数据聚合起来，用于业务智能领域的比较和分析，数据仓库是包含多种数据的存储库，并且是高度建模的。

数据仓库系统的作用能实现跨业务条线、跨系统的数据整合，为管理分析和业务决策提供统一的数据支持。数据仓库能够从根本上帮助你把公司的运营数据转化成为高价值的可以获取的信息（或知识），并且在恰当的时候通过恰当的方式把恰当的信息传递给恰当的人。

数据仓库针对实时数据处理和非结构化数据处理能力较弱，以及在业务在预警预测等方面应用有一定的限制。

02 数据湖

数据湖(Data Lake)是Pentaho公司CTO James Dixon提出来一种数据存储理念—即在系统或存储库中以自然格式存储数据的方法。数据湖作为一个集中的存储库，可以在其中存储任意规模的结构化和非结构化数据。在数据湖中，可以存储不需要对其进行结构化的数据，这样就可以运行不同类型的分析。下面的定义是维基百科所给出的“数据湖”定义。

数据湖（Data Lake）是一个存储企业的各种各样原始数据的大型仓库，其中的数据可供存取、处理、分析及传输。数据湖是以其自然格式存储的数据的系统或存储库，通常是对象Blob或文件。数据湖通常是企业所有数据的单一存储，包括源系统数据的原始副本，以及用于报告、可视化、分析和机器学习等任务的转换数据。数据湖可以包括来自关系数据库（行和列）的结构化数据，半结构化数据（CSV，日志，XML，JSON），非结构化数据（电子邮件，文档，PDF）和二进制数据（图像，音频，视频）。

数据湖能够帮助企业实现数据的集中式管理等多种能力；数据湖融合了先进的数据科学、机器学习和人工智能技术，帮助企业构建更加优化的数据运营模型，为企业提供预测分析、推荐模型等能力，这些模型能够刺激企业能力的持续增长，不断赋能于企业增长。数据湖能从以下方面帮助到企业：

实现数据治理；

通过应用机器学习与人工智能技术实现商业智能；

预测分析和模型推荐，例如：领域特定的推荐引擎 ；

信息追踪与一致性保障；

基于历史数据分析生成新的数据维度，挖掘数据深度价值；

提供集中式存储的企业数据中心，并提供基于数据传输优化的数据服务；

协助企业实现灵活的增长决策。