将数据从 google colab 导出到本地计算机
Posted
技术标签:
【中文标题】将数据从 google colab 导出到本地计算机【英文标题】:Exporting Data from google colab to local machine 【发布时间】:2018-08-29 21:19:27 【问题描述】:如何将在 google colab 中创建的数据帧导出到本地机器?
我已经清理了 google colab 上的数据集。现在我想将数据框导出到我的本地机器。
df.to_csv
正在将文件保存到虚拟机而不是我的本地计算机。
【问题讨论】:
How can I download a pandas Dataframe in Google Colab?的可能重复 【参考方案1】:试试这个
from google.colab import files
files.download("data.csv")
更新(2018 年 9 月):现在更容易了
打开左侧窗格 选择“文件”标签 点击“刷新” 右击文件,然后下载更新(2020 年 1 月):UI 更改
点击左侧窗格中的folder icon
(第三个图标)
点击“刷新”
右击文件,然后下载
【讨论】:
我们可以将colab中创建的数据帧直接下载到g盘而不是本地吗? @Shubh 您可以使用drive.mount(...)
,然后只使用!cp
您的文件。
将整个文件夹下载到本地计算机怎么样?我看到的一切都是关于下载单个 .csv 文件,但与下载整个文件夹无关。 TY
要下载文件夹,可以先用!zip -r file.zip folder_name
压缩,再下载file.zip
。
它给了我错误:'list' object has no attribute 'download'
【参考方案2】:
试试这个:
首先您可以使用 pandas to_csv
功能保存文件,稍后您可以使用 google colab 文件功能下载该文件。
from google.colab import files
df.to_csv('filename.csv')
files.download('filename.csv')
【讨论】:
如果我执行 df.to_csv('filename.csv') ,即使我导入 google.colab 文件,它也不会执行任何操作【参考方案3】:Downloading files to your local file system
files.download
将调用浏览器将文件下载到您的本地计算机。from google.colab import files with open('example.txt', 'w') as f: f.write('some content') files.download('example.txt')
【讨论】:
【参考方案4】:您可以将 csv 下载到您关联的谷歌驱动器。 首先你必须安装 PyDrive。
!pip install -U -q PyDrive
from pydrive.auth import GoogleAuth
from pydrive.drive import GoogleDrive
from google.colab import auth
from google.colab import files
from oauth2client.client import GoogleCredentials
auth.authenticate_user()
gauth = GoogleAuth()
gauth.credentials = GoogleCredentials.get_application_default()
drive = GoogleDrive(gauth)
这将在浏览器中生成一个令牌,然后将其粘贴到将显示在笔记本中的输入框中。
保存您的熊猫数据框
df.to_csv('mydataframe.csv', sep='\t')
为了保持整洁,您可以在驱动器中创建一个新文件夹,然后使用以下内容:
file_list = drive.ListFile('q': "'root' in parents and trashed=false").GetList()
for file1 in file_list:
print('title: %s, id: %s' % (file1['title'], file1['id']))
这将列出您的 google 驱动器中的文件和文件夹以及它们的 ID,您在接下来的步骤中将需要这些文件和文件夹。
file = drive.CreateFile('parents':[u'id': '
您要保存的文件夹的 ID']) file.SetContentFile("mydataframe.csv")
file.Upload()
它现在将在您的谷歌驱动器中的给定文件夹中。
【讨论】:
虽然这段代码对另一个问题很有帮助,但我不相信它回答了这个问题。我相信 OP 是在询问如何将文件从 colab/google 驱动器获取到本地机器......而不是如何将文件获取到 google 驱动器。以上是关于将数据从 google colab 导出到本地计算机的主要内容,如果未能解决你的问题,请参考以下文章
将本地训练的 TensorFlow 模型导入 Google Colab
无法将 Google BigQuery 导出到本地计算机中的 CSV 文件