无法在 Google Colab 上上传巨大的文件/数据集

Posted 2023-03-16

【中文标题】无法在 Google Colab 上上传巨大的文件/数据集

【英文标题】：Unable to Upload Huge Files/Datasets on Google Colab

【发布时间】：2020-12-05 17:34:25

【问题描述】：

我正在上传一个 TSV 文件以在 GColab 上进行处理，该文件为 4GB，并且上传过程在很长一段时间（数小时）后仍未完成。这里的任何指示都会有很大帮助。点击here查看上传流程详情

【参考方案1】：

它可以是您的互联网连接。当您upload small .py files 时，Google Colab 的导入功能更有用。对于大文件，我建议您使用 Google Drive 并将其上传到您的帐户中，然后简单地将其移动或复制到您的 Google Colab 实例：

1.复制您要使用的文件：

%cp "path/to/the file/file_name.extension" "path/to/your/google-colab-instance"

Google colab 实例通常是这样的 - /contents/

同样，

2。移动您要使用的文件：

%mv "path/to/the file/file_name.extension" "path/to/your/google-colab-instance"

第一个“”是您在驱动器中上传 .csv 文件的路径。 希望这可以帮助。在 cmets 中告诉我。

【讨论】：

嗨吉米特！就我而言，我应该首先从 URL 下载数据库，然后将其上传到 google colab。有没有办法直接将文件下载到谷歌驱动器？

@ZeynabRostami 您可以使用 Google 的云引擎 API 来做到这一点，因为 G Suite 服务基于它们的后端。您可以在实施之前了解更多信息。