将大量文件从 Google Cloud Storage 复制到 Google Colab，无需记录/打印

Posted 2023-03-29

【中文标题】将大量文件从 Google Cloud Storage 复制到 Google Colab，无需记录/打印

【英文标题】：Copying large number of files from Google Cloud Storage to Google Colab without logging/printing

【发布时间】：2019-04-22 19:41:03

【问题描述】：

我有大量图像 (.jpg) 存储在 Google Cloud Storage 中，我想在 Google Colab 中使用这些图像。

为此我使用（在谷歌 Colab 中）

GCS_PATH = "gs://bucket/prefix"
!gsutil -m cp -r GCS_PATH ./data

但是，在运行时，Google colab 会将每次传输打印到单元格的输出中，这会使我的浏览器变慢。我想知道 gsutil cp 是否有 --quiet 或 --silent 标志。我检查了gsutil help cp，但找不到任何东西。

【参考方案1】：

如果你运行 gsutil help options，你会发现它有一个***的 -q 标志，应该可以满足你的要求：

-q          Causes gsutil to perform operations quietly, i.e., without
            reporting progress indicators of files being copied or removed,
            etc. Errors are still reported. This option can be useful for
            running gsutil from a cron job that logs its output to a file, for
            which the only information desired in the log is failures.

如果你绝对不想要任何输出，你总是可以将 stdout 和 stderr 重定向到一个单独的文件（例如在大多数 *nix 系统上，这看起来像 somecommand >/dev/null 2>&1，但我不确定我的头顶Colab 授予您对哪些文件/设备的写入权限）。