Azure 数据工厂映射数据流 VS SSIS

Posted 2023-03-31

【中文标题】Azure 数据工厂映射数据流 VS SSIS

【英文标题】：Azure Data Factory Mapping Data Flows VS SSIS

【发布时间】：2020-04-14 14:59:30

【问题描述】：

这不是真正的编码问题，所以我希望可以在这里问，否则我将删除我的帖子。

我们最近迁移到云端并正在尝试 ADF 数据流。我预计它会更高效一些。但是，我目前并不真正了解那些优于 SSIS 包的内容。我尝试过使用不同的设置，到目前为止，在我看来，它似乎更慢（集群必须启动）和更昂贵的解决方案。所以现在我有点怀疑是将我的 SSIS 包留在那里并从 ADF 管道触发它们，还是实际上将它们重新写入数据流。我现在看到的唯一优点是数据流对于非技术人员来说可能更直观。

因此，如果有人能向我解释“何时”真正使用它们是正确的事情，我将不胜感激？

提前感谢您！

【问题讨论】：

你有多少包？他们多久运行一次？多久？它们有多复杂（您是否使用脚本和自定义组件）？您的数据源是在本地还是在云端？他们会保持这种状态多久？这是进入 Azure 的 PoC 吗？有很多问题。如果您采用 ELT 方法（将数据加载到数据库中并在其中使用 sql 脚本进行转换），那么您不必使用映射数据流，只需使用基本的 ADF

您好，这里有更新吗？我的回答对您有帮助吗？

【参考方案1】：

我认为这完全取决于您的实际情况。

SSIS 是 SQL Server 集成服务，是 SQL Server 产品分发的一部分，自 2005 年以来作为 SSIS 出现，在此之前作为 DTS。

ADF 映射数据流，用于数据集成的基于云的 PaaS 服务。

两者都可用于跨本地和云数据存储集成和转换数据。但是，SSIS 主要是作为本地服务构建的，而 ADF 在 Azure 中具有横向扩展数据移动服务。

您可以使用 ADF 将 SSIS 作业提升和转移到云端，或在 ADF 中构建新的 ETL 作业作为云优先作业。

更多线索，请参考本案例：Azure Data Factories vs SSIS