如何获取 ADLS Gen2 文件的最后修改日期并将其保存到 python 中的 csv

Posted

技术标签:

【中文标题】如何获取 ADLS Gen2 文件的最后修改日期并将其保存到 python 中的 csv【英文标题】:How to fetch last modified dates of ADLS Gen2 files and save it to a csv in python 【发布时间】:2021-11-25 04:32:07 【问题描述】:

我对使用 Azure 非常陌生。我需要帮助才能从特定的 ADLS 位置获取最后修改的日期,并将这些信息作为 csv 文件保存在另一个容器中。

我的输入路径为字符串类型。

path='teams\test\A.json'

blob.properties.last_modified(path)

但它不起作用。如果我的文件输入路径是字符串格式,请帮助我如何解决这个问题?

【问题讨论】:

【参考方案1】:

您的问题提到了 ADLS gen2,但在您的代码示例中,您指的是 C 驱动器中的文件。 您还需要指定要获取其属性的 ADLS Gen 2 blob 的 SAS 令牌。

您需要的是 Blobclient。看看documentation。

安装所需的python库。

pip install azure-storage-blob

python 代码将如下所示。

from azure.storage.blob import BlobClient
sasurl = "xxxxxxx"
blob_client = BlobClient.from_blob_url(sasurl)
print(blob_client.get_blob_properties().last_modified)

【讨论】:

谢谢。我错误地提供了本地路径。我已经编辑了问题。 不用担心。我的回答能回答你的问题吗?如果是,请将其标记为答案。 嗨@Gorib_coder,你的问题解决了吗?如果是,请将我的回复标记为接受答案,以便社区知道此问题已关闭。

以上是关于如何获取 ADLS Gen2 文件的最后修改日期并将其保存到 python 中的 csv的主要内容,如果未能解决你的问题,请参考以下文章

无法在Databricks中为ADLS Gen2创建安装点

DataBricks - 将更改保存回 DataLake (ADLS Gen2)

触发 Azure 数据工厂管道 - Blob 上传 ADLS Gen2(以编程方式)

由于缺少 x-ms-blob-type,在 ADLS Gen2 中创建路径失败?

ADLS Gen2 中不提供软删除的解决方法

将数据从 ADLS Gen2 加载到 Azure Synapse 时出错