将数据从 google colab 导出到本地计算机

Posted

技术标签:

【中文标题】将数据从 google colab 导出到本地计算机【英文标题】:Exporting Data from google colab to local machine 【发布时间】:2018-08-29 21:19:27 【问题描述】:

如何将在 google colab 中创建的数据帧导出到本地机器?

我已经清理了 google colab 上的数据集。现在我想将数据框导出到我的本地机器。 df.to_csv 正在将文件保存到虚拟机而不是我的本地计算机。

【问题讨论】:

How can I download a pandas Dataframe in Google Colab?的可能重复 【参考方案1】:

试试这个

from google.colab import files
files.download("data.csv")

更新(2018 年 9 月):现在更容易了

打开左侧窗格 选择“文件”标签 点击“刷新” 右击文件,然后下载

更新(2020 年 1 月):UI 更改

点击左侧窗格中的folder icon(第三个图标) 点击“刷新” 右击文件,然后下载

【讨论】:

我们可以将colab中创建的数据帧直接下载到g盘而不是本地吗? @Shubh 您可以使用drive.mount(...),然后只使用!cp 您的文件。 将整个文件夹下载到本地计算机怎么样?我看到的一切都是关于下载单个 .csv 文件,但与下载整个文件夹无关。 TY 要下载文件夹,可以先用!zip -r file.zip folder_name压缩,再下载file.zip 它给了我错误:'list' object has no attribute 'download'【参考方案2】:

试试这个:

首先您可以使用 pandas to_csv 功能保存文件,稍后您可以使用 google colab 文件功能下载该文件。

from google.colab import files
df.to_csv('filename.csv') 
files.download('filename.csv')

【讨论】:

如果我执行 df.to_csv('filename.csv') ,即使我导入 google.colab 文件,它也不会执行任何操作【参考方案3】:

Downloading files to your local file system

files.download 将调用浏览器将文件下载到您的本地计算机。

from google.colab import files

with open('example.txt', 'w') as f:
  f.write('some content')

files.download('example.txt')

【讨论】:

【参考方案4】:

您可以将 csv 下载到您关联的谷歌驱动器。 首先你必须安装 PyDrive。

!pip install -U -q PyDrive
from pydrive.auth import GoogleAuth
from pydrive.drive import GoogleDrive
from google.colab import auth
from google.colab import files
from oauth2client.client import GoogleCredentials

auth.authenticate_user()
gauth = GoogleAuth()
gauth.credentials = GoogleCredentials.get_application_default()
drive = GoogleDrive(gauth)

这将在浏览器中生成一个令牌,然后将其粘贴到将显示在笔记本中的输入框中。

保存您的熊猫数据框 df.to_csv('mydataframe.csv', sep='\t')

为了保持整洁,您可以在驱动器中创建一个新文件夹,然后使用以下内容:

file_list = drive.ListFile('q': "'root' in parents and trashed=false").GetList() for file1 in file_list: print('title: %s, id: %s' % (file1['title'], file1['id']))

这将列出您的 google 驱动器中的文件和文件夹以及它们的 ID,您在接下来的步骤中将需要这些文件和文件夹。

file = drive.CreateFile('parents':[u'id': '您要保存的文件夹的 ID']) file.SetContentFile("mydataframe.csv") file.Upload()

它现在将在您的谷歌驱动器中的给定文件夹中。

【讨论】:

虽然这段代码对另一个问题很有帮助,但我不相信它回答了这个问题。我相信 OP 是在询问如何将文件从 colab/google 驱动器获取到本地机器......而不是如何将文件获取到 google 驱动器。

以上是关于将数据从 google colab 导出到本地计算机的主要内容,如果未能解决你的问题,请参考以下文章

将本地训练的 TensorFlow 模型导入 Google Colab

将 Google Colab 与本地运行时连接时出错

无法将 Google BigQuery 导出到本地计算机中的 CSV 文件

从 Google Drive 读取图像时,Google Colab 太慢了

如何在 Google Colab 中读取 csv 到数据框

google Colabs Notebook 中保存的图像与本地计算机中保存的图像不同