将 Google 大查询数据下载到 Jupyter 笔记本，但仅捕获 1000 行

Posted 2023-03-25

【中文标题】将 Google 大查询数据下载到 Jupyter 笔记本，但仅捕获 1000 行

【英文标题】：Downloaded Google big query data to Jupyter notebook but only 1000 rows captured

【发布时间】：2020-05-18 19:36:57

【问题描述】：

我使用了以下代码：

query = """select * from ZONE.STATE_MASTER_DATA WHERE TIME_KEY BETWEEN '2020-01-01' AND '2020-03-31'"""

webinar_data = gbq.read_gbq(query,project_id='Project1')

但是只捕获了 1000 行数据。在谷歌大查询中，行数是 401321。 如何捕获所有行数据。

谢谢！

【参考方案1】：

Pandas documentation 中描述了要更改将显示的最大行数，您应该使用 display.max_rows。 p>

导入pandas库后，可以使用set_options()方法设置输出的行数。此外，您还可以选择None，它将输出数据集中的所有行。不过，请小心使用None，因为如果您有大量行，您的内核可能会忙一段时间，直到它显示所有内容。

下面是一些用法示例：

1) 在输出中将最大行数设置为 3000

import pandas as pd 
pd.set_option('display.max_rows', 3000)

2) 在输出中将最大行数设置为无限制

 import pandas as pd
 pd.set_option('display.max_rows', None)

另外，我必须指出，当前的默认值是每个输出 15 行。