如何使用数据工厂将数据从 Azure Blob 存储增量加载到 Azure SQL 数据库？

Posted 2023-03-28

【中文标题】如何使用数据工厂将数据从 Azure Blob 存储增量加载到 Azure SQL 数据库？

【英文标题】：How to incrementally load data from Azure Blob storage to Azure SQL Database using Data Factory?

【发布时间】：2021-12-21 07:00:59

【问题描述】：

我有一个 json 文件存储在 Azure Blob 存储中，我已使用数据工厂将其加载到 Azure SQL DB 中。 现在我想找到一种方法，以便只将文件中的新记录加载到我的数据库中（因为文件每周左右更新一次）。有办法吗？

谢谢！

【问题讨论】：

如果我的回答有用，请接受它作为回答（点击回答左侧的复选标记）以帮助其他社区成员。

【参考方案1】：

您可以使用已在 Azure 数据工厂中实现的 upsert（渐变维度类型 1）。 它将添加新记录并更新已更改的旧记录。

这里有一个快速教程： https://www.youtube.com/watch?v=MzHWZ5_KMYo

【讨论】：

成功了！非常感谢！

【参考方案2】：

我建议您使用 Dataflow 活动。

在数据流活动中，您可以选择更改行，如下图所示。

在 Alter 行中，您可以使用 Upsert if 条件。

这里提到条件为1 == 1

【讨论】：

此解决方案有效，非常感谢！