如何找到 Parquet 文件生成时使用的 COMPRESSION_CODEC?
Posted
技术标签:
【中文标题】如何找到 Parquet 文件生成时使用的 COMPRESSION_CODEC?【英文标题】:How to find the COMPRESSION_CODEC used on a Parquet file at the time of its generation? 【发布时间】:2019-08-20 12:16:26 【问题描述】:通常在 Impala 中,我们在将数据插入到底层文件为 Parquet 格式的表之前使用 COMPRESSION_CODEC。
用于设置 COMPRESSION_CODEC 的命令:
set compression_codec=snappy;
set compression_codec=gzip;
是否可以通过对 Parquet 文件进行任何类型的操作来找出使用的压缩编解码器的类型?
【问题讨论】:
【参考方案1】:您可以通过parquet-tools 找到 Impala parquet 表使用的压缩算法。例如,此实用程序与 Cloudera CDH 一起打包,否则从源代码构建。
$ parquet-tools meta <parquet-file>
creator: impala version 2.13.0-SNAPSHOT (build 100d7da677f2c81efa6af2a5e3a2240199ae54d5)
file schema: schema
-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
code: OPTIONAL BINARY R:0 D:1
description: OPTIONAL BINARY R:0 D:1
value: OPTIONAL INT32 O:INT_32 R:0 D:1
row group 1: RC:823 TS:20420
-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
code: BINARY GZIP DO:4 FPO:1727 SZ:2806/10130/3.61 VC:823 ENC:RLE,PLAIN_DICTIONARY
description: BINARY GZIP DO:2884 FPO:12616 SZ:10815/32928/3.04 VC:823 ENC:RLE,PLAIN_DICTIONARY
value: INT32 GZIP DO:17462 FPO:19614 SZ:3241/4130/1.27 VC:823 ENC:RLE,PLAIN_DICTIONARY
由于通常在 Parquet(不是通过 Impala)中可以逐列设置压缩,因此对于每个 Parquet 行组,您将看到针对每个列统计信息使用的压缩。
【讨论】:
以上是关于如何找到 Parquet 文件生成时使用的 COMPRESSION_CODEC?的主要内容,如果未能解决你的问题,请参考以下文章
插入 Parquet 文件会生成 512 MB 文件。如何生成 1 GB 的文件?
使用 java 反射运行时,HDFS Parquet 文件阅读器抛出 DistributedFileSystem.class 未找到
如何对 Spark Streaming 生成的分区 parquet 文件进行适当的内务管理