大数据压缩算法总结
Posted MISAYAONE
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了大数据压缩算法总结相关的知识，希望对你有一定的参考价值。
1：最主流的四种
gzip 压缩比较高，不可 split (行文件)，hadoop 自带 （apache 协议）
lzo 支持 split，但需要额外的索引文件，自定安装（ GPL 协议）
snappy 压缩速度快，压缩比一般，不可 split (行文件)，自定安装（ GPL 协议）
bzip 压缩比最高，但是压缩慢，自定安装
压缩格式gzip/snappy/lzo/bzip2 比较与总结_zzhongcy的博客-CSDN博客_lzo压缩比例
1. Data Modeling in Hadoop - Hadoop Application Architectures [Book]
2：列存文件即使使用 gzip和 snappy 也是可以 sp
以上是关于大数据压缩算法总结的主要内容，如果未能解决你的问题，请参考以下文章