Pandas gbq 加载 - to_gbq 超时异常

Posted 2023-03-25

【中文标题】Pandas gbq 加载 - to_gbq 超时异常

【英文标题】：Pandas gbq load - to_gbq timeout exception

【发布时间】：2015-02-14 00:55:19

【问题描述】：

任何人都知道这个错误的线索：

u'kind': u'bigquery#tableDataInsertAllResponse', u'insertErrors': [u'index': 90, u'errors': [u'reason': u'timeout'],

我正在尝试执行：

from pandas.io import gbq

df.to_gbq(tablename, project_id=projectid)

df - 是一个有几百万行的数据框。

谢谢。

【问题讨论】：

我对 bigquery 没有任何经验，但您可以尝试更改 to_gbq() 中的块大小参数。默认值为 10k。 pandas.pydata.org/pandas-docs/stable/generated/…

【参考方案1】：

BigQuery 支持批量插入部分成功。从回复来看，第 90 行似乎未能插入，原因是“超时”。有关响应的描述，请参阅https://cloud.google.com/bigquery/streaming-data-into-bigquery#troubleshooting 的“成功 HTTP 响应代码”。

如果您使用的是插入 ID，您可以简单地重试失败的行，或者根据需要重试完整的请求（尽管每个重试的行都将计入您的表配额）。重试应遵循指数回退模式。