BigQuery:导出表未在 GCS 中将 Content-Encoding 设置为 gzip

Posted

技术标签:

【中文标题】BigQuery:导出表未在 GCS 中将 Content-Encoding 设置为 gzip【英文标题】:BigQuery : export table not setting Content-Encoding to gzip in GCS 【发布时间】:2016-11-23 10:49:11 【问题描述】:

从 BigQuery 导出压缩文件时,导出到 Cloud Storage Content-Encoding 的文件未设置为 gzip 是正常的吗?

除了手动设置之外,还有其他解决方法吗?

【问题讨论】:

【参考方案1】:

默认情况下,您不是“导出压缩文件”,而只是“导出文件”。该对话框称为“导出到 Google Cloud Storage”。 如您所说,您可以手动指定它通过 UI 进行压缩。

如果您不想在 UI 中进行设置,也可以通过命令行导出: https://cloud.google.com/bigquery/docs/exporting-data

这是一个例子: bq extract --compression=GZIP 'bigquery-public-data:samples.shakespeare' gs://example-bucket/shakespeare.zip

【讨论】:

以上是关于BigQuery:导出表未在 GCS 中将 Content-Encoding 设置为 gzip的主要内容,如果未能解决你的问题,请参考以下文章

如何将 BigQuery 数据导出到 GCS?

如何将 GCS 中的 csv 随机样本导出到 BigQuery

复制的 MySQL 数据库文件但表未在 PhPMyAdmin 中显示

如何将 Google Analytics 数据导出到 Google GCS 存储桶或 BigQuery?

在加入并将它们导出到 GCS 之前,如何等待 BigQuery 上的异步表写入?

Bigquery 导出拆分为多个文件,其中包含一些空文件