数据湖与数据仓库之区别

Posted 2021-04-24 21CTO

21CTO导读：虽然我们说数据湖与数据仓库，但这两种技术实际上是互补的。 请继续阅读以了解原因。

数据湖和数据仓库是业务分析的关键技术，但两者之间的差异和区别，可能会让人困惑。 它们之前有什么不同？ 其中哪一个更稳定？ 哪一个最能帮助自己的业务？ 本文旨在揭开这两个系统的神秘面纱，以让你更好处理自己的数据。

什么是数据湖？

数据湖是一个集中存储数据库，用于存储所有结构化和非结构化数据。

别国外，数据湖可用其原生格式存储任何类型的数据，没有大小限制。数据湖的开发主要是为了处理大数据量，擅长处理非结构化数据。 我们通常会将所有数据移动到数据湖中不进行转换。 数据湖中的每个数据元素都会分配一个唯一的标识符，并对其进行标记，以后可通过查询找到该元素。这样做的好处是，我们永远不会丢失数据，它可以在很长一段时间内可用，并且数据也非常灵活，因为它不需要在存储之前遵循某种特定模式。

什么是数据仓库？

数据仓库是位于多个数据库上的大容量存储库。它的作用是存储大量的结构化数据，并能进行频繁和可重复的分析。通常情况下，数据仓库用于汇集来自各种结构化源的数据以进行分析，通常用于商业分析目的。一些数据仓库也可以处理非结构化数据，但这并不太常见。

在数据集成之前，需要确保数据类型兼容。 由于存储在仓库中的数据是结构化的，因此数据的大小受到限制，且在将数据添加到仓库之前确定模式。

数据湖与数据仓库

想象一下数据仓库：空间有限，盒子必须放在货架上的特定槽中。每个盒子都需要按顺序存储，以便以后可以找到它，你可能需要设计仓库，以便定期清除旧库存。大多数这些相同的约束适用于数据仓库：大小固定，并且必须根据精心设计的模式存储每个数据，然后才能将数据添加到仓库中，数据仓库针对结构化数据进行了优化。

相比之下，数据湖是没有固定形态的，边界可以根据内容增长或缩小。 就像湖泊一样，如果有更多的数据加入，数据湖就会扩大，当数据被移除时，它会缩小。 数据不需要构建，你需要使用大量标记来查找数据，数据湖针对非结构化数据进行了优化。

下表显示了数据湖与数据仓库之间的主要差异：

	数据湖	数据仓库
存储	数据为非结构化的，所有数据都保持原始形式。存储所有数据，并且仅在分析时再进行转换。	数据通常从事务系统中提取。 在将数据加载到数据仓库之前，会对数据进行清理与转换。
数据抓取	捕获半结构化和非结构化数据。	捕获结构化数据并将其按模式组织。
目的	数据湖非常适合深入分析的非结构化数据。 例如，数据科学家可能会用具有预测建模和统计分析等功能的高级分析工具。	数据仓库非常适用于月度报告等操作用途，因为它具有高度结构化。
架构	通常，在存储数据之后定义架构。 使用较少的初始工作并提供更大的灵活性。	通常，在存储数据之前定义架构。 这需要你清理和规范化数据，这意味着架构的灵活性要低不少。
更好......	非结构化数据，探索，创新，灵活性。	结构化数据，高性能，可重用，持续使用。

哪种更适合你，数据湖还数据仓库？

简单讲，我们两者都需要。

数据仓库非常适用于业务实践中常见的可重复报告，例如月度销售报告，每个区域的销售跟踪或网站流量等。

当你执行不太直接的分析时，数据湖就很有用。 比如，你可能希望对网站上的流量进行用户行为分析。

由此定论，数据湖与数据仓库是互补的，而不是竞争的工具。

来源：21CTO