加载操作中的 BigQuery 错误：令牌无效 - 令牌无效：无状态令牌已过期

Posted 2023-03-24

【中文标题】加载操作中的 BigQuery 错误：令牌无效 - 令牌无效：无状态令牌已过期

【英文标题】：BigQuery error in load operation: Token invalid - Invalid token: Stateless token expired

【发布时间】：2012-07-03 14:40:32

【问题描述】：

我看到以下错误： 加载操作中的 BigQuery 错误：令牌无效 - 令牌无效： 无状态令牌已过期

当我尝试上传一个大的纯文本（或 gzip'ed）（约 9000 万条记录）文件时

这是我用来尝试上传数据的命令：

~/bigquery-2.0.6]$ python bq.py load --skip_leading_rows 7 -F"\t" conn_logs.conn /scratch/conn.log /scratch/conn.schema

如果我尝试较小的文件，数据加载会很好。

知道是什么原因造成的吗？如何更新令牌以使其不会过期？

谢谢，

【参考方案1】：

这实际上是oauth2client 处理令牌更新方式中的一个错误——即它不会在上传结束时刷新令牌。它正在内部进行跟踪，但我认为目前还没有修复的 ETA。

最简单的解决方法是将文件上传到 Google Storage，然后使用 Google Storage 路径调用 load。这很轻松，甚至还有a nice tutorial。