数据湖系列文章

Posted 2022-08-13 YoungerChina

        数据湖是一种在系统或存储库中以自然格式存储数据的方法，它有助于以各种模式和结构形式配置数据，通常是对象块或文件。数据湖的主要思想是对企业中的所有数据进行统一存储，从原始数据（源系统数据的精确副本）转换为用于报告、可视化、分析和机器学习等各种任务的目标数据。数据湖中的数据包括结构化数据（关系数据库数据），半结构化数据（CSV、XML、JSON等），非结构化数据（电子邮件，文档，PDF）和二进制数据（图像、音频、视频），从而形成一个容纳所有形式数据的集中式数据存储。

一、数据湖概念

        数据湖01：数据湖是什么？

        数据湖02：数据湖有哪些特征 

        数据湖03：AWS认为什么是数据湖？

        数据湖04：数据湖技术架构演进

        数据湖05：从数据仓库看数据湖

---

二、数据湖架构 

        数据湖06：Delta Lake原理和功能概述

        数据湖07：Apache Hudi原理和功能概述

        数据湖08：Apache Iceberg原理和功能介绍 

        数据湖09：开源框架DeltaLake、Hudi、Iceberg深度对比

---

三、数据采集引擎

        数据湖：海量日志采集引擎Flume        

        数据湖：数据库数据迁移工具Sqoop

        数据湖：数据集成工具DataX

        数据湖：数据集成工具Kettle

四、数据存储引擎

        存储调研：BeeGFS并行文件系统体系结构

        存储调研：Ceph分布式文件系统体系结构

        存储调研：GlusterFS分布式文件系统体系结构

        存储调研：Lustre并行文件系统体系结构

        存储调研：GPFS并行文件系统原理解析

五、数据计算引擎

        数据湖：流计算处理框架Flink概述

        数据湖：分布式开源处理引擎Spark

        数据湖10：新型大数据解决方案,数据湖如何建设?