如何监控 Azure 文件中每日传入的数据文件并将其保存在 SQL 数据库中

Posted

技术标签:

【中文标题】如何监控 Azure 文件中每日传入的数据文件并将其保存在 SQL 数据库中【英文标题】:How to monitor the daily incoming Datafiles in Azure Files and save them in SQL Database 【发布时间】:2021-03-24 00:04:03 【问题描述】:

我想每天记录加载到 Azure 存储中的所有文件。 是否可以将这些信息作为摘要访问?

我需要文件名和上传时间等信息。 以及如何将它们读出并保存在数据库中,有没有提供的服务?

谢谢。

【问题讨论】:

想通过哪种方式获取摘要? 一种表格格式,两列文件名和上传日期作为表头。或者 json 格式,只要它可能通过存储过程以某种方式可读和可处理到数据库中。也许它可以用 azure 数据工厂读取? Data Factory get Metadata 可以得到你想要的输出。 解决了我的问题。谢谢 嗨@Walerius,不客气!您能接受它作为答案吗(单击答案旁边的复选标记将其从灰色切换为已填充。)?这对其他社区成员可能是有益的。谢谢。 【参考方案1】:

你可以使用Data Factory Get Metadata active,它可以得到你想要的输出。

请参考:https://docs.microsoft.com/en-us/azure/data-factory/control-flow-get-metadata-activity

【讨论】:

获取元数据适用于文件名。我有一个文件夹,我正在获取 childItems(我需要的实际文件和数据)。有什么方法可以获取数据上传到 Azure 存储的实际时间/日期? @Walerius 通常,文件有元数据:LAST MODIFIED,如果我们没有修改或更改文件,那就是文件上传的时间。就目前而言,我们无法获取数据上传的实际时间/日期。

以上是关于如何监控 Azure 文件中每日传入的数据文件并将其保存在 SQL 数据库中的主要内容,如果未能解决你的问题,请参考以下文章

C# Azure.Storage.Blobs SDK 如何列出和压缩容器中的所有文件并将压缩文件存储在另一个容器中

如何在 Python 中将 Azure Blob 文件 CSV 转换为 Excel

如何在不写入文件的情况下压缩流并将其上传到 Azure Blob 存储?

如何在 azure 函数中读取文件(在发布请求中)?

如何实现监控mysql,并将有变动的数据表写入指定的文件夹?

如何使用 azure 数据工厂拆分列值