从 ETL 转移到 ELT？

Posted 2023-03-29

【中文标题】从 ETL 转移到 ELT？

【英文标题】：Moving from ETL to ELT?

【发布时间】：2016-07-27 15:02:46

【问题描述】：

我想知道组织是否可以将其数据集成流程从 ETL 更改为 ELT 以减少加载时间？如果 DWH 基础设施不匹配怎么办？

【问题讨论】：

softwareadvice.com/resources/etl-vs-elt-for-your-data-warehouse

【参考方案1】：

我想说这取决于您的目标 DWH 平台及其性能能力以及执行内部转换的能力。我过去使用 Teradata DWH 完成了这项工作，我们决定让 Teradata 系统完成繁重的工作，因为我们使用的工具也无法执行转换，我们可以编写效率更高的 SQL。

另外，您使用的是 ETL 工具吗？它有优化潜力吗？

【讨论】：

实际上，我在实习期间工作的组织使用 SSIS 作为 ETL 工具。现在的目标是提出一种解决方案，将来自不同来源 (ERP) 的实时数据集成到 DWH 中。我建议使用 SSIS 的 CDC 来管理实时问题。我想知道如何将它与 ELT 结合起来以进行优化。但是 DWH 的实际结构不允许这种从 ETL 到 ELT 的重大转换或承载所有这些转换过程。这就是为什么我想知道应该为 DWH 引入什么样的“调整”以实现这一目标？

【参考方案2】：

我们自己也实施了类似的策略，使用 CDC 作为数据捕获工具，然后使用 SSIS（实际上是自制版本）通过作业传输数据。 在我们的例子中，SSIS 部分只是将数据定期转储到临时数据库中，从主客户端生产数据服务器（资源分离）中取出，然后临时数据库中的存储过程接管以完成有点复杂的转换操作。通过这种方式，我们可以输出到多个目标，因为我们有 DW 和 DM 目标来提供数据，具体取决于源。这既提供了灵活性，又消除了提取方面的繁重工作，以及更轻松的更改维护计划。

【参考方案3】：

在ETL and ELT 之间切换可能取决于许多因素：业务需求、使用的数据仓库、使用的 ETL/ELT 工具和可用的工具、数据源以及支持/管理人员的能力。由于 ELT 仍处于成熟阶段，因此没有广泛的工具可用于完成这项工作。如果您的企业能够处理承担更多转型工作的可能性，或者您有幸找到了满足您需求的工具；那么ELT是一个合理的开关。

根据数据的大小和结构，加载时间可能会减少。但是，您的基于 ETL 的数据仓库的结构可能无法支持 ELT。而且因为 ELT 在查询时进行转换，如果数据加载到未针对查询优化的模式结构中，那可能是您的瓶颈。结构错误的存储库可能会产生比切换到 ELT 解决的问题更多的问题。

所以回答你的最后一个问题：这完全取决于数据仓库基础架构和架构结构如何不匹配。您需要处理能力来处理带有转换的即席查询。您需要一个支持加载所有数据的 DWH 结构，并且对查询很友好。