将 300 MB 文件加载到 BigQuery 时出现超时错误

Posted 2023-03-25

【中文标题】将 300 MB 文件加载到 BigQuery 时出现超时错误

【英文标题】：Timeout error when loading 300 MB file into BigQuery

【发布时间】：2016-07-11 15:19:55

【问题描述】：

我遵循了加载数据发布请求页面上提供的 Node.js 示例（靠近底部：https://cloud.google.com/bigquery/loading-data-post-request），但我遇到了较大文件的问题。示例代码适用于 13 MB 的 .csv，但是当我尝试更大的文件时，无论是 25 MB 还是 300 MB，它都不起作用。我看到以下错误：

events.js:154 投掷者； // 未处理的“错误”事件 ^

Error: ETIMEDOUT
    at null._onTimeout (/Users/Hertig/Development/BitDeliver/BigQuery/node_modules/request/request.js:772:15)
    at Timer.listOnTimeout (timers.js:92:15)

我认为这种加载数据的方法将支持更大的文件。有没有其他人经历过这个？任何有关加载更大文件（大约 400 MB 或更大）的建议都将不胜感激。

【参考方案1】：

将大文件加载到 BigQuery 时，最好的方法是先将它们上传到 Google Cloud Storage - 然后告诉 BigQuery 从您的 gs://bucket/path/file* 中读取它们。