Pandas 到 GBQ 方法返回 GenericGBQException：原因 404 POST

Posted 2023-03-25

【中文标题】Pandas 到 GBQ 方法返回 GenericGBQException：原因 404 POST

【英文标题】：Pandas to GBQ method returning GenericGBQException: Reason 404 POST

【发布时间】：2018-12-04 17:54:34

【问题描述】：

这个错误刚刚开始在我们的管道中弹出。 我正在使用 pandas.to_gbq 方法移动一个大约 150 万行的数据框。

任何帮助将不胜感激！

代码：

output.to_gbq('table_name', 
'project-id',
chunksize=50000, 
private_key='ga_auth.json',
if_exists='replace'
)

错误：

   Traceback (most recent call last):
  File ".\rfm_bigquery.py", line 175, in <module>
    send_rfm_to_gbq()
  File ".\rfm_bigquery.py", line 152, in send_rfm_to_gbq
    if_exists='replace',
  File "C:\Users\yyu\Desktop\env\rfm_bigquery\lib\site-packages\pandas\core\frame.py", line 1187, in to_gbq
    table_schema=table_schema)
  File "C:\Users\yyu\Desktop\env\rfm_bigquery\lib\site-packages\pandas\io\gbq.py", line 119, in to_gbq
    table_schema=table_schema)
  File "C:\Users\yyu\Desktop\env\rfm_bigquery\lib\site-packages\pandas_gbq\gbq.py", line 1036, in to_gbq
    progress_bar=progress_bar,
  File "C:\Users\yyu\Desktop\env\rfm_bigquery\lib\site-packages\pandas_gbq\gbq.py", line 513, in load_data
    self.process_http_error(ex)
  File "C:\Users\yyu\Desktop\env\rfm_bigquery\lib\site-packages\pandas_gbq\gbq.py", line 376, in process_http_error
    raise GenericGBQException("Reason: 0".format(ex))
pandas_gbq.gbq.GenericGBQException: Reason: 404 POST https://www.googleapis.com/upload/bigquery/v2/projects/hidden-moon-164616/jobs?uploadType=resumable: Not Found

【问题讨论】：

这只是说找不到您给定的项目ID。您是否正确设置了身份验证和内容？

是的，我实际上是从脚本前面的项目中读取的，并且身份验证正在工作。这看起来是某种“可恢复”部分无法正常工作

【参考方案1】：

我在使用最新版本时遇到了同样的问题，我移回了 pandas==0.23.3 和 pandas-gbq==0.5.0，它终于可以工作了......