GCS 加密总是在大文件上失败

Posted 2023-03-29

【中文标题】GCS 加密总是在大文件上失败

【英文标题】：GCS encryption always fails on big files

【发布时间】：2018-03-12 05:20:33

【问题描述】：

我正在尝试使用gsutil rewrite 命令（在https://cloud.google.com/storage/docs/using-encryption-keys 之后）使用我自己的密钥加密 GCS 上的文件

按照指示，我正在使用一个 boto 文件，包括 [GSUtil] encryption_key = p9syBNA0ycKxGotK3XinNZC6aCpdn3ZQ7WWOhKNgBaY= 它在小文件上没有问题，但在大文件上不断失败。 我正在运行命令： gsutil rewrite -k -O gs://ywz-tmp/bigfile.txt

这是一个已知问题吗？ 有什么解决方法吗？

请随意使用文件和密钥（都是为这篇文章生成的）

【问题讨论】：

您能否提供有关您所看到的具体故障的更多详细信息？什么大小的文件失败？

@TravisHobrla 我相信问题开始于 200M 左右。 gsutil cp 有效，只是重写失败了。

我正在使用的解决方法：gsutil ls -L gs://MY_BUKCET/**|awk -v RS="]" -v FS="\n" '! /Encryption algorithm: AES256/ print$2'|sed 's/:$//'|xargs -P 15 -n 1 -I @@ bash -c 'gsutil cat @@ |gsutil cp - @@'

我能够用一个 500MiB 的文件重现这个问题，我目前的想法是它是 GCS 服务的一个错误，所以我正在跟进。

【参考方案1】：

此问题的修复程序现在应该已投入生产。