Hadoop数据压缩使用介绍

Posted 刘元涛

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Hadoop数据压缩使用介绍相关的知识,希望对你有一定的参考价值。

一、压缩原则

(1)运算密集型的Job,少用压缩

(2)IO密集型的Job,多用压缩

二、压缩算法比较

三、压缩位置选择

四、压缩参数配置

1)为了支持多种压缩/解压缩算法,Hadoop引入了编码/解码器

2)要在Hadoop中启用压缩,可以配置如下参数

以上是关于Hadoop数据压缩使用介绍的主要内容,如果未能解决你的问题,请参考以下文章

hadoop 数据压缩

打怪升级之小白的大数据之旅(五十七)<Hadoop压缩>

如何在Hive中进行数据压缩以实现高效存储?

Hadoop 数据压缩

HADOOP与HDFS数据压缩格式

hadoop mapreduce开发实践之输出数据压缩