将最新的文件夹从 azure blob 存储加载到 azure 数据工厂
Posted
技术标签:
【中文标题】将最新的文件夹从 azure blob 存储加载到 azure 数据工厂【英文标题】：Load the latest folder from azure blob storage to azure data factory 【发布时间】：2021-11-25 20:49:52 【问题描述】：我有一个场景，我必须从 blob 存储容器中获取最新的文件夹，然后通过 Azure 数据工厂处理该文件夹下的所有文件，目前，所有文件夹名称都基于时间戳，我们知道 CloudBlobDirectory 不保存LastModified Date，因此无法从 Azure 数据工厂活动中提取元数据，例如上次修改时间，以便我可以迭代时间戳并处理内容。
有没有其他方法可以对文件夹名称进行排序，然后根据字符串排序（在文件夹名称上）选择它？
【问题讨论】：
【参考方案1】：我尝试使用 Azure 函数进行类似的操作。
请看看它是否有用。
https://www.youtube.com/watch?v=eUMjghIEsjw
【讨论】：
以上是关于将最新的文件夹从 azure blob 存储加载到 azure 数据工厂的主要内容，如果未能解决你的问题，请参考以下文章
如何使用数据工厂将数据从 Azure Blob 存储增量加载到 Azure SQL 数据库？
使用 Azure 数据工厂从 blob 存储中仅读取一个文件并加载到数据库中
使用 Nodejs 将文件从 Azure 存储 blob（容器）复制到 Azure 文件共享
将文件从 Azure 存储 blob 移动到 Ftp 服务器