同步异步ETL架构的比较

Posted DB架构

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了同步异步ETL架构的比较相关的知识,希望对你有一定的参考价值。

背景介绍:

数据的抽取,转换和加载 (ETL, Extract, Transform, Load) 是构建数据仓库过程中最复杂也是至 关重要的一个步骤,我们通常用两种办法来处理 ETL 流程:

一种是异步(Asynchronous) ETL 方式, 也称为文本文件(Flat file)方式

另外一种是同步(Synchronous) ETL 方式,也称为直接传输 (Direct transfer) 方式。根据项目的各自特点,合理选择恰当的数据抽取流程,确定抽取过程中的监督核 查机制,对于 DW 项目的成功可以起到事半功倍的作用。在第一种模式中,数据被从源数据库 抽取到文本文件中,通过网络传输被传送到目标服务器,然后再装载到目标数据库中。对于后一 种模式,顾名思义,数据抽取过程是直接从源到目标的,没有通过中间路径或者手段。在数据仓 库工程的开发中,这两种体系架构被普遍采用,不能绝对地评价哪一种模式好,哪一种模式坏。 运用之妙,存乎一心,完全根据系统架构师或高级开发人员根据项目特点(如数据库分布,网络 连接……) 灵活实施,随机应变。

 本文目的是比较两种体系架构各自的不同点和优缺点,并基于本文的假设条件,分析两种体系架 构各自的特点和适用范围。本文共分为以下几个部分:

 系统结构图比较

 假设条件

 特点比较

 各自适用的环境

系统结构图比较

 假设条件

依循数据仓库的工作方式,原始资料由源数据库被抽取出来后,将在中间过程被写入

到”Operational Data Store”(ODS)ODS 是被设计用来存储中间数据和核查校验数据的。通 过 ODS,数据将被萃取、预先被计算及整理,而后被导入数据仓库作进一步的报表生成与分析。 所以通常意义的 ETL 过程涵盖了两个方面的内容:1. 从源数据库到中间步骤的 ODS; 2. 从 ODS 到最终的数据仓库。本文所讨论的数据装载过程包括如下的假设条件:

 数据的抽取过程可以是数据的完全(refresh)抽取或者是增量(incremental)抽取完全 抽取指数据从其源系统中完整的抽取;然后,由转换及加载步骤决定需要哪些数据。 增量抽取仅抽取那些自上次抽取以来发生变化、插入或删除的数据。这样往往就会为转 换和加载步骤单独提供所需的数据。

目标数据库存放数据的时间区间比源数据库长。例如源数据库存放的是 3 个月的交易生 产数据ODS 存放了 1 年左右的数据,而数据仓库存放了 3-5 年的历史数据

源数据的记录中应该有特定的时间戳字段来表明数据是何时更新的。这样在 ETL 抽取过 程中就可以根据装载的需要凭借使用时间参数来选择所需要的数据。与之相对应,目标 数据库也应该保留说明数据是何时插入或者更新的字段。一来是为了维护的需要,同时 今天的目标可能是明天的源,保留这些字段可以具有很大的灵活性。例如企业如果有基 于数据仓库基础上的数据集市系统的应用,需要抽取数据仓库的数据作为数据集市的输 入,这些字段就可以作为用来比较的参数值使用。

许多数据库系统保留了历史记录变动的详细情况。例如对于同一客户记录来说,由于其 居住城市或者地址的变动,记录的内容也会发生相应变动,就会产生许多历史记录,有 些应用需要系统保留这些历史记录以便于回溯(Keep Track)。本文假定目标数据库 只需要抽取最近更新的一条数据,对于历史的陈旧数据,可以置之不理。

两种体系结构的特点比较

 

 

各自适用的环境

最后,通过表 2 我们可以清楚地了解两种不同的数据 ETL 模式所各自适用的环境。 这可以帮助 开发者面对具体的开发背景确定更加合适的模式。

Table 2 compares the strong point and weak point of the two architectures.

表 2. 列出了两种不同体系结构的各自优缺点

以上是关于同步异步ETL架构的比较的主要内容,如果未能解决你的问题,请参考以下文章

数据仓库模型ETL架构(DWI/DWR/DM)

数据仓库建模与ETL实践技巧

数仓理论- 02 数据仓库架构

大数据数据仓库-微软BI SSIS ETL 控件与案例

实习推荐|中国移动-数据仓库/ETL/BI工程师作业帮-大数据ETL工程师

#yyds干货盘点#ETL工具算法构建企业级数据仓库五步法