gsutil cp 通信问题

Posted 2023-03-29

【中文标题】gsutil cp 通信问题

【英文标题】：gsutil cp communications issues

【发布时间】：2014-10-04 12:58:35

【问题描述】：

每个星期五我都会运行一个 gsutil 4.3 cp -n -L -R 命令（python 版本是 2.7.5），以便从 Windows 7 Enterprise 上传 5 GB 数据（每个文件不超过 512 MB 的 48 个文件）到 GCS。从 8 月 8 日开始，我开始收到 GSutil 错误如下：

从 httplib 捕获 BadStatusLine，重试：'' 连接中断后重试对 url https://www.googleapis.com/resumable/upload/storage/v1/b/offsite/o?fields=generation%2Cmd5Hash%2Csize&alt=json&upload_id=AEnB2UraXXAIW8wI-60MqMgu5Ae_zVoxSC_Wf1WfEkzoG--T51vsGRAYY1ZwrQriDhY-y-85tJX-b_Mu5bvE9Mt97eY2soi1_A&prettyPrint=True&uploadType=resumable 的请求。 最终重试时出现 HTTP 错误：'' CommandException：为本地文件 (ClS2LyPSwjN1qHjP6ICSUQ==) 计算的 md5 签名与云提供的摘要 (Yf0Fn4q+L8EhK7VQaugh+Q==) 不匹配。云对象 (gs://file_URI) 将被删除。

我还注意到上传时间现在非常慢：这个脚本过去需要 3.5 小时才能上传 5 GB，现在需要 12 小时才能被 Windows 任务计划程序中断（因为任务超时配置）上传~ 150 MB。

虽然我了解这些错误可能与网络和/或通信问题有关，但我们没有其他通信问题，也没有更改任何通信设备，如防火墙、路由器等。另外，我不清楚是哪一个他们正在生成。

有什么建议或想法可以解决/解决这些问题吗？

非常感谢您， 费德里科

【问题讨论】：

我经常遇到这个问题。有人解决了这个问题吗？也许添加 [google-cloud-storage] 应该可以帮助存储团队回答我们。

【参考方案1】：

问题已在 v4.5 中修复。

感谢 Mike（来自 Google）提供这些信息。