在 Jupyter Notebook 中进行时，pandas.read_gbq() 在哪里“保存”查询？

Posted 2023-03-25

【中文标题】在 Jupyter Notebook 中进行时，pandas.read_gbq() 在哪里“保存”查询？

【英文标题】：Where does pandas.read_gbq() 'save' the query when conducted in Jupyter Notebook?

【发布时间】：2020-01-17 22:09:47

【问题描述】：

我正在使用 Pandas 从 Google BigQuery 下载数据集

df = pd.read_gbq(query, location="US"...)

它告诉我它正在下载。但是数据保存在哪里？ 我需要在调用繁重的负载之前知道...

【问题讨论】：

澄清问题：您是在询问 pandas 在下载临时文件时将其存储在哪里，还是在完成后最终结果在哪里？

现在所有数据都在你的变量 df 中，打印出来......如果你想把它放到 csv 中试试 df.to_csv('myfile.csv')

打印(df.head(10))

我想知道 pandas 在将临时文件保存到 .csv 等之前将其存储在哪里。

【参考方案1】：

Python 有一个对象分配器，负责在对象内存区域内分配内存。它直接使用运行 Jupyter 的机器的内存来存储您从 pd.read_gbq 调用中获得的 DataFrame。检查CPython’s Memory Management 以获得更多关于此的见解。 Here 你有不同的方法来估计这个 DataFrame 需要的内存大小。

【讨论】：

非常感谢。不幸的是，我的投票不会显示，因为我是新人。