数据湖搭建指南——几个核心问题

Posted 2021-11-01 琦彦

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了数据湖搭建指南——几个核心问题相关的知识，希望对你有一定的参考价值。

1、什么是数据湖？

数据湖是一种技术系统，可以大批量并且廉价的分析结构化和非结构化数据资产。

其实很简单，数据湖的最大魅力在于可以分析一切类型的数据。

自 2010 年首次提出“数据湖”一词以来，采用数据湖架构的组织数量呈指数级增长。它们支持多种分析功能，从数据的基本 SQL 查询到实时分析，再到机器学习。

主要组成：

数据湖由四个主要组件组成：存储层、格式化层、计算层和元数据层。

2、为什么要使用数据湖？

数据湖架构将数据资产整合到一个集中的存储库中。该存储库将用作对以前孤立的数据进行跨功能分析的根基。此外，来自数据湖的架构有助于数字化驱动的实现。

任何拥有来自物联网传感器或移动应用点击流等来源的大规模非结构化数据，都可以采用数据湖架构，这也是未来大数据的发展方向之一。

数据湖与数据仓库

数据湖和数据仓库的相似之处在于它们都支持分析大型数据集。然而，他们实现这一目标的方法在几个关键方面有所不同。

模块化：数据仓库通常是专有的、单一的应用程序，比如使用HADOOP，HIVE等构建数据仓库。而数据湖的特点是其组件的模块化，主要由开源技术和开放格式组成。

架构：数据仓库要求数据在写入或摄取时立即符合 DDL 定义的架构。相比之下，数据湖允许数据自由存储，数据的结构验证在读取时进行。

成本与性能：数据仓库通常以更高的价格提供高性能。用户在将数据插入表之前通常会面临历史记录的聚合，以避免过高的成本。

数据湖将数据存储保持在极具成本效益的存储服务中，因此不会产生过高存储费用。计算资源可弹性伸缩，以最佳方式满足工作负载的需求，无需额外成本。

结构化与非结构化数据：数据仓库专为结构化表格数据集而设计。而数据湖也可用于分析非结构化或半结构化格式的数据。

事实上，数据湖与数据仓库是可以并行的，要结合实际业务情况进行。

3、如何构建数据湖？

高度可用的存储服务是数据湖的第一步。

在将数据转换为更适合分析的格式之前，应以原始格式存储数据。

接下来，连接诸如 Spark 或 Presto 之类的计算引擎以对数据运行计算。

总共分四部：

原始数据进入对象存储
优化原始数据文件以按大小和格式进行分析
添加元数据工具来定义模式并启用版本控制 + 发现
将下游消费者集成到优化的数据资产中

4、数据湖技术路线

在数据湖的每一层架构中，都有许多技术可以组合起来创建数据湖。

存储： 主要云提供商 AWS S3的存储服务最常用于数据湖的存储层。还有许多其他托管和开源存储提供商也完全能够支持数据湖，包括：MinIO、HDFS、IBM 云存储、阿里巴巴对象存储、Wasabi、Ceph、Oracle 云存储、SwiftStack ，和Spaces Object Storage。

数据格式：最简单的格式示例是 CSV 和 JSON，基本都是支持的。还存在专为数据湖用例设计的更专业的格式，如 Parquet、Delta、Iceberg、Avro 和 Hudi。这些格式提高了湖操作的效率，并使事务原子性和时间回溯等功能成为可能。

媒体图像、视频和音频文件相关的非结构化数据格式也常见于数据湖中。

计算：大型的计算引擎必须是分布式的。示例包括 MapReduce 和 Hadoop 等技术、以及 Spark 、Presto、Flink 等等。

元数据：非常的重要，特别是影响到以后的数据治理。

客户端和库：通过 JDBC/ODBC 和其他数据传输接口，可以访问湖中数据。S3 API，BI 工具和 SQL 客户端。