使用快照复制 Azure Blob

Posted

技术标签:

【中文标题】使用快照复制 Azure Blob【英文标题】:Copy Azure Blob With Snapshots 【发布时间】:2016-02-13 04:06:10 【问题描述】:

我正在尝试备份一些 blob 存储以防止意外删除容器,我可以使用 PowerShell 和 start-CopyAzurBlog 或从命令行使用 AZCopy 复制 blob,但是这些 blob 有一个编号快照(用作版本控制过程的一部分),并且每当我复制时,它都不会拍摄快照。

我知道您可以将 /snapshot 命令与 AZCopy 一起使用,但这会为每个快照创建一个全新的 blob,我需要它们成为单个 blob 的一部分。 反正有没有原封不动地复制这些?理想情况下,这将在 PowerShell 中,因此我可以使用 Azure 自动化,但如果需要,我很乐意在 C# 中做一些事情。

【问题讨论】:

【参考方案1】:

这是符合卢兆兴逻辑的代码。该方法是首先列出源 blob 的快照,从快照在目标中创建 blob 并拍摄该 blob 的快照。最后,您将基础 blob 复制到目标 blob。

    static void CopyBlobAndSnapshots()
    
        var sourceAccountName = "<source-account-name>";
        var sourceAccountKey = "<source-account-key>";
        var sourceContainerName = "<source-container-name>";
        var targetAccountName = "<target-account-name>";
        var targetAccountKey = "<target-account-key>";
        var targetContainerName = "<target-container-name>";
        var blobName = "<source-blob-name>";
        var sourceAccount = new CloudStorageAccount(new StorageCredentials(sourceAccountName, sourceAccountKey), true);
        var targetAccount = new CloudStorageAccount(new StorageCredentials(targetAccountName, targetAccountKey), true);
        var sourceBlobClient = sourceAccount.CreateCloudBlobClient();
        var sourceContainer = sourceBlobClient.GetContainerReference(sourceContainerName);
        var sourceBlob = sourceContainer.GetBlockBlobReference(blobName);
        var targetBlobClient = targetAccount.CreateCloudBlobClient();
        var targetContainer = targetBlobClient.GetContainerReference(targetContainerName);
        targetContainer.CreateIfNotExists();
        //Create a SAS Token on source blob with read permissions that is valid for 2 weeks.
        var sasToken = sourceBlob.GetSharedAccessSignature(new SharedAccessBlobPolicy()
            
                Permissions = SharedAccessBlobPermissions.Read,
                SharedAccessExpiryTime = new DateTimeOffset(DateTime.UtcNow.AddDays(14))
            );
        //List blob snapshots first
        var baseBlobAndSnapshots = sourceContainer.ListBlobs(blobName, true, BlobListingDetails.Snapshots).ToList();
        //Since the list contains both base blob and snapshots, we should remove the base blob from this list.
        var blobSnapshots = baseBlobAndSnapshots.Where(b => ((CloudBlockBlob)b).SnapshotTime != null).ToList();
        //Now we should arrange them in reverse chronological order
        blobSnapshots.Reverse();
        CloudBlockBlob targetBlob = null;
        string sourceBlobUrl = string.Empty;
        foreach (var blob in blobSnapshots)
        
            var blockBlob = (CloudBlockBlob) blob;
            Console.WriteLine("Copying blob snapshot. Snapshot date/time = " + blockBlob.SnapshotTime);
            sourceBlobUrl = string.Format("0&1", blockBlob.SnapshotQualifiedUri, sasToken.Substring(1));
            targetBlob = targetContainer.GetBlockBlobReference(blobName);
            targetBlob.StartCopy(new Uri(sourceBlobUrl));
            //Check the status;
            targetBlob.FetchAttributes();
            do
            
                var copyState = targetBlob.CopyState;
                if (copyState.Status == CopyStatus.Pending)
                
                    Thread.Sleep(1000);//Copy not completed. Wait for it to complete.
                    targetBlob.FetchAttributes();
                
                else
                
                    break;
                
             
            while (true);
            Console.WriteLine("Copying blob snapshot complete. Snapshot date/time = " + blockBlob.SnapshotTime);
            Console.WriteLine("----------------------------");
            //Now take the blob snapshot
            Console.WriteLine("Taking blob snapshot....");
            targetBlob.Snapshot();
            Console.WriteLine("Blob snapshot taken....");
            Console.WriteLine("----------------------------");
        
        Console.WriteLine("Copying base blob.");
        sourceBlobUrl = string.Format("01", sourceBlob.Uri, sasToken);
        targetBlob = targetContainer.GetBlockBlobReference(blobName);
        targetBlob.StartCopy(new Uri(sourceBlobUrl));
        //Check the status;
        targetBlob.FetchAttributes();
        do
        
            var copyState = targetBlob.CopyState;
            if (copyState.Status == CopyStatus.Pending)
            
                Thread.Sleep(1000);//Copy not completed. Wait for it to complete.
                targetBlob.FetchAttributes();
            
            else
            
                break;
            
         
        while (true);
        Console.WriteLine("Blob with snapshot copy completed!");
    

【讨论】:

【参考方案2】:

我必须指出,您所要求的功能很难实现。

Snapshot Blob API 仅支持为当前 blob 数据创建快照。因此,为了备份快照,我们需要在目的地创建与第一个快照相同数据的 blob,然后创建快照;并用与第二个快照相同的数据覆盖目标 blob,然后创建快照; ... ;继续这样做,直到在目标中创建所有快照,最后用与当前源 blob 相同的数据覆盖目标 blob。

由于源 blob 的容量实际上并未按所有快照和当前 blob 的总和计费,如果您想在备份后保存目标的价格,则必须在两个快照之间或最后一个快照之间进行区分& 当前的 blob,并且只在每一步覆盖不同的块/页面,这可能会引入更多的复杂性。

【讨论】:

以上是关于使用快照复制 Azure Blob的主要内容,如果未能解决你的问题,请参考以下文章

如何删除 Azure Blob 容器中的文件夹

创建Azure磁盘快照

如何使用 Powershell 中的快照创建 Azure 托管磁盘

Azure Fileshare - 在没有备份服务的情况下还原快照

自动将 Azure Webapp wwwroot 目录备份到 azure blob 存储

Azure 数据块作业 - 笔记本快照