如何禁用分段上传,以便同步匹配 s3cmd 中本地和远程文件的 md5sum

Posted

技术标签:

【中文标题】如何禁用分段上传,以便同步匹配 s3cmd 中本地和远程文件的 md5sum【英文标题】:How disable multipart upload so sync matches the md5sum of local and remote file in s3cmd 【发布时间】:2013-10-31 18:38:02 【问题描述】:

。 当我上传一个大文件时,s3cmd 将文件分成几部分。 Amazon S3 上的 eTag 是多部分的最后一部分。如何保存本地文件的md5sum上传的文件。

【问题讨论】:

【参考方案1】:

您可以在自定义 HTTP 标头中手动计算和发送(保存)整个对象的 md5sum。您可以在发送 PUT 请求时添加任何 HTTP 标头,并且您将在下一个 GET 或 HEAD 请求中获得相同的标头和值。 我们在我们的项目RioFS中使用了这个功能,保存存储对象的md5sum,然后将hash与缓存的对象进行比较,避免重新下载本地文件。

希望这些信息对您有所帮助!

【讨论】:

所以你在 s3cmd 中根本不使用同步?只需计算 md5sum 并将传递 x- 元标记的文件放在 Amazon S3 中? 是的,我们不使用 s3cmd。你是对的,你可以为 x-meta 标签设置任何值,当你下次访问这个对象时你会得到它。

以上是关于如何禁用分段上传,以便同步匹配 s3cmd 中本地和远程文件的 md5sum的主要内容,如果未能解决你的问题,请参考以下文章

上传到本地 pypi 服务器时禁用身份验证

AWS S3日志文件通过服务器上传到elk

S3cmd 同步返回“已终止”

s3cmd 同步是不是根据列表计算每个文件或提出请求定价

如何在Webstorm/Phpstorm中设置连接FTP,并快速进行文件比较,上传下载,同步等操作

如何在Webstorm/Phpstorm中设置连接FTP,并快速进行文件比较,上传下载,同步等操作