BigQuery 从 Cloud Storage 加载压缩数据

Posted 2023-03-24

技术标签:

【中文标题】BigQuery 从 Cloud Storage 加载压缩数据【英文标题】：BigQuery load compressed data from Cloud Storage 【发布时间】：2016-06-09 17:44:52 【问题描述】：

我的 Google Cloud Storage 中有很多 *.gz 文件。我想将这些数据加载到 BigQuery。我试过执行

bq load --source_format=AVRO projectId:dataset.table gs://bucket/*.gz

但收到错误

The Apache Avro library failed to parse file gs://bucket/f92d8ae3-6eba-4e35-9fc0-b8f31b4b9881-part-r-00004.gz.

是否可以将压缩数据上传到 BigQuery？解决这些问题的最佳做法是什么？

【问题讨论】：

【参考方案1】：

不支持压缩的 Avro 文件... 在Avro format中查看更多信息

【讨论】：

以上是关于BigQuery 从 Cloud Storage 加载压缩数据的主要内容，如果未能解决你的问题，请参考以下文章