将 Azure BLOB 存储同步到 Amazon S3

Posted 2023-03-28

【中文标题】将 Azure BLOB 存储同步到 Amazon S3

【英文标题】：Syncing Azure BLOB Storage to Amazon S3

【发布时间】：2018-08-23 07:35:02

【问题描述】：

我们在 Azure BLOB 存储中存储了大约 400 万个文件（4 TB 左右）杂项文件，主要是 Word 和 PDF。我希望将这些数据复制到不同的云中，以实现灾难恢复和高枕无忧，Amazon S3 似乎是任何一个不错的候选者。

问题是，我没有足够大的本地服务器来保存这些文件的本地副本。理想情况下，我想直接从 Azure Blob 同步到 S3。我们不断添加新文件，因此同步也需要频繁（每天多次）。

我看到很多从 Azure 下载到本地的选项 => 从本地上传到 S3，但对于直接 Azure => S3 同步的选项很少。这里有哪些不错的选择？

【参考方案1】：

我们可以通过 node.js 包将 azure storage 数据迁移到 amazon s3。 你可以看到here提供的完整描述。

您还可以使用 azure 数据工厂进行复制，因为它提供了一个复制工具，可以根据您的需要和设置进行修改以传输数据。 您可以在Azure data factory 和copy tool 上参考此文档。