Hadoop数据压缩使用介绍

Posted 刘元涛

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Hadoop数据压缩使用介绍相关的知识,希望对你有一定的参考价值。

一、压缩原则

(1)运算密集型的Job,少用压缩

(2)IO密集型的Job,多用压缩

二、压缩算法比较

三、压缩位置选择

四、压缩参数配置

1)为了支持多种压缩/解压缩算法,Hadoop引入了编码/解码器

2)要在Hadoop中启用压缩,可以配置如下参数

以上是关于Hadoop数据压缩使用介绍的主要内容,如果未能解决你的问题,请参考以下文章

hadoop 数据压缩

hadoop 压缩方式对比

HBase集群配置Snappy压缩算法

Hadoop 数据压缩

大数据之Hadoop(MapReduce):压缩位置选择和压缩参数配置

[转] - hadoop中使用lzo的压缩