hive parquet table 配置使用压缩

Posted 2021-02-06 cenglinjinran

创建parquet table :

create table mytable(a int,b int) STORED AS PARQUET;


创建带压缩的parquet table:

create table mytable(a int,b int) STORED AS PARQUET TBLPROPERTIES(‘parquet.compression‘=‘SNAPPY‘);


如果原来创建表的时候没有指定压缩，后续可以通过修改表属性的方式添加压缩:

ALTER TABLE mytable SET TBLPROPERTIES (‘parquet.compression‘=‘SNAPPY‘);

或者在写入的时候set parquet.compression=SNAPPY;


不过只会影响后续入库的数据，原来的数据不会被压缩，需要重跑原来的数据。


采用压缩之后大概可以降低1/3的存储大小。
---------------------
作者：xiao_jun_0820
来源：CSDN
原文：https://blog.csdn.net/xiao_jun_0820/article/details/76893331
版权声明：本文为博主原创文章，转载请附上博文链接！