如何获取 ADLS Gen2 文件的最后修改日期并将其保存到 python 中的 csv
Posted
技术标签:
【中文标题】如何获取 ADLS Gen2 文件的最后修改日期并将其保存到 python 中的 csv【英文标题】:How to fetch last modified dates of ADLS Gen2 files and save it to a csv in python 【发布时间】:2021-11-25 04:32:07 【问题描述】:我对使用 Azure 非常陌生。我需要帮助才能从特定的 ADLS 位置获取最后修改的日期,并将这些信息作为 csv 文件保存在另一个容器中。
我的输入路径为字符串类型。
path='teams\test\A.json'
blob.properties.last_modified(path)
但它不起作用。如果我的文件输入路径是字符串格式,请帮助我如何解决这个问题?
【问题讨论】:
【参考方案1】:您的问题提到了 ADLS gen2,但在您的代码示例中,您指的是 C 驱动器中的文件。 您还需要指定要获取其属性的 ADLS Gen 2 blob 的 SAS 令牌。
您需要的是 Blobclient。看看documentation。
安装所需的python库。
pip install azure-storage-blob
python 代码将如下所示。
from azure.storage.blob import BlobClient
sasurl = "xxxxxxx"
blob_client = BlobClient.from_blob_url(sasurl)
print(blob_client.get_blob_properties().last_modified)
【讨论】:
谢谢。我错误地提供了本地路径。我已经编辑了问题。 不用担心。我的回答能回答你的问题吗?如果是,请将其标记为答案。 嗨@Gorib_coder,你的问题解决了吗?如果是,请将我的回复标记为接受答案,以便社区知道此问题已关闭。以上是关于如何获取 ADLS Gen2 文件的最后修改日期并将其保存到 python 中的 csv的主要内容,如果未能解决你的问题,请参考以下文章
DataBricks - 将更改保存回 DataLake (ADLS Gen2)
触发 Azure 数据工厂管道 - Blob 上传 ADLS Gen2(以编程方式)