如何在 ADF 中从 SharePoint 下载更新的文件？

Posted 2023-02-19

【中文标题】如何在 ADF 中从 SharePoint 下载更新的文件？

【英文标题】：How to download updated files from SharePoint in ADF?

【发布时间】：2022-01-14 22:19:13

【问题描述】：

我在 SharePoint 位置有 100 多个文件，我每天都使用 ADF 和 Databricks 摄取和处理这些文件。并非所有文件每天都会更新，我最终会通过处理未更改的文件来浪费我的时间和资源。如何下载已更新的文件？

我的管道在周末不运行，但 SharePoint 文件在周末会有更新。

【参考方案1】：

您可以将额外的 .md5 文件放在包含文件的 md5 摘要或其他适合您的管道处理的摘要信息的位置。然后您的管道可以选择跳过处理未更改的文件。