使用 gsutil 从 CSV 下载所有行

Posted 2023-03-29

【中文标题】使用 gsutil 从 CSV 下载所有行

【英文标题】：Download all lines from CSV using gsutil

【发布时间】：2018-11-02 10:23:43

【问题描述】：

我正在尝试找出一种从单个存储桶下载多个文件的方法。 假设我有一个包含数百个文件的存储桶，我想下载其中的 65 个文件。

我显然可以去控制台并单独下载我需要的每个文件，但这不是很有效。

另一种选择是使用

下载整个文件夹

gsutil -m cp -r gs://bucket/folder [destination folder]

但是，这将下载所有文件，这也不方便。

我能否以某种方式在 CSV 中包含我想要的所有文件名并让 gsutil 迭代该 CSV 文件？

【参考方案1】：

您不能直接使用 CSV 文件，但可以将 url 列表通过管道传输到 gsutil：

list_of_urls > gsutil -m cp -I ./download_dir

也许这已经足够了。