将 avro 文件压缩为 gzip (.gz) 压缩

Posted 2023-03-24

技术标签:

【中文标题】将 avro 文件压缩为 gzip (.gz) 压缩【英文标题】：Compress avro files to gzip (.gz) compression 【发布时间】：2021-05-07 09:18:25 【问题描述】：

我是 avro 和 .gzip 文件的新手。我正在尝试压缩 avro 文件以加快从 Google Cloud Storage 到 BigQuery 的文件加载时间。而且我已经尝试过谷歌搜索，但我没有得到答案。请帮助我了解如何。

【问题讨论】：

【参考方案1】：

Avro 格式不能与 GZIP 压缩结合使用。要压缩 Avro 数据，请使用 bq 命令行工具或 API，并为 Avro 数据指定一种受支持的压缩类型：DEFLATE 或 SNAPPY。

参考：

https://cloud.google.com/bigquery/docs/loading-data-cloud-storage-avro

【讨论】：

以上是关于将 avro 文件压缩为 gzip (.gz) 压缩的主要内容，如果未能解决你的问题，请参考以下文章