从 Sharepoint 列表到 Azure SQL 仓库的增量加载

Posted 2023-02-24

【中文标题】从 Sharepoint 列表到 Azure SQL 仓库的增量加载

【英文标题】：Incremental Load from servicenow to azure sql in ADF

【发布时间】：2022-01-16 18:40:09

【问题描述】：

我想使用 ADF 从 Sharepoint 列表到 Azure SQL 仓库进行增量加载。有没有可能？

【参考方案1】：

here 已经回答了同样的问题。在此处发布相同内容以帮助 SO 中的其他社区成员。

没有从 SharePoint 列表实现增量加载的直接方法，但是，您可以在 SharePoint 列表的 Modified 属性上使用 $filter 查询参数。因此，如果您使用的是 Copy Data 活动，则需要如下配置源：

带查询：

@concat('$filter=Modified ge datetime''',formatDateTime(variables('WatermarkDate'), 'yyyy-MM-ddTHH:mm:ss'),'''')

在这里，我从变量中获取初始水印日期，但您需要将其永久存储在某处（如在 Azure SQL 中），从中获取日期作为您的水印日期。

完成数据加载后，您可以使用查找活动从 SharePoint 列表的最新修改条目中获取 Modified 列，并为下一个加载起点更新存储的水印日期。

请查看以下 GIF 以供参考。您可以相应地调整它以满足您的需求。