跨不同存储帐户复制 Blob 存储中的目录

Posted

技术标签:

【中文标题】跨不同存储帐户复制 Blob 存储中的目录【英文标题】:Copy directory in blob storage across different storage accounts 【发布时间】:2022-01-06 22:07:01 【问题描述】:

我正在开发一个数据传输服务,它将容器特定目录中的数据复制到目标容器。该服务将提供 src-container-URL with SAS token 和需要复制为输入的 目录。 (假设目标容器 URL 是静态的)

我已经尝试使用子进程模块使用 azcopy shell 命令,并且能够做到这一点。但是有没有其他方法可以使用 python blob store SDK 库来做同样的事情,而无需先列出目录中的所有 blob 并逐个复制它?

是否有任何 Azure 云服务在某些触发器上执行复制活动(API 回调)?

【问题讨论】:

你有没有提到这个帖子:***.com/questions/57651890/… @RamaraoAdapa-MT 上面的线程讨论了单个 blob。但在我的情况下,容器中的目录(可能包含多个 blob) 【参考方案1】:

我已经在我的环境中测试过了。

如果不列出目录中的 blob,我们无法将存储帐户目录中的所有 blob 文件复制到另一个存储帐户。

我们可以使用以下 python 代码将目录中的 blob 从一个存储帐户复制到另一个存储帐户:

from azure.storage.blob import BlobServiceClient, BlobClient
source_connect_str = "source_storage_account_connection_string"
destination_connect_str="destination_storage_account_connection_string"
source_blob_service_client = BlobServiceClient.from_connection_string(source_connect_str)
destination_blob_service_client = BlobServiceClient.from_connection_string(destination_connect_str)
source_container_client = source_blob_service_client.get_container_client("containerName")
my_blobs = source_container_client.list_blobs(name_starts_with="directory/")
for my_blob in my_blobs:
    source_blob = BlobClient(source_blob_service_client.url,container_name="containerName",blob_name=my_blob.name,credential="sas-token-of-source-storage-account")
    destination_blob = destination_blob_service_client.get_blob_client("containerName",my_blob.name)
    destination_blob.start_copy_from_url(source_blob.url)

是否有任何 Azure 云服务可以执行复制活动 一些触发器(API 回调)?

在这种情况下,您可以使用 Azure Logic App 在触发器上执行复制活动

【讨论】:

以上是关于跨不同存储帐户复制 Blob 存储中的目录的主要内容,如果未能解决你的问题,请参考以下文章

Azure Blob 存储:防止 Blob 复制到另一个存储帐户的最佳方法?

如何将 Azure 存储帐户内容(表、队列、blob)复制到其他存储帐户

备份 Blob 存储帐户中的数据

使用 @azure/storage-blob 将 blob 从一个存储帐户复制到另一个

使用 java SDK 在不同区域的 Blob 存储帐户之间同步数据

跨多个容器批量删除 blob