大数据之Hadoop(MapReduce)：压缩位置选择和压缩参数配置
Posted 浊酒南街
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了大数据之Hadoop(MapReduce)：压缩位置选择和压缩参数配置相关的知识，希望对你有一定的参考价值。
1.压缩位置选择
压缩可以在MapReduce作用的任意阶段启用，如图4-22所示
2.压缩参数配置
要在Hadoop中启用压缩，可以配置如下参数：
| 参数 | 默认值 | 阶段 | 建议 |
|---|---|---|---|
| io.compression.codecs （在core-site.xml中配置） | org.apache.hadoop.io.compress.DefaultCodec, org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.BZip2Codec | 输入压缩 | Hadoop使用文件扩展名判断是否支持某种编解码器 |
| mapreduce.map.output.compress（在mapred-site.xml中配置） | false | mapper输出 | 这个参数设为true启用压缩 |
| mapreduce.map.output.compress.codec（在mapred-site.xml中配置） | org.apache.hadoop.io.compress.DefaultCodec | mapper输出 | 企业多使用LZO或Snappy编解码器在此阶段压缩数据 |
| mapreduce.output.fileoutputformat.compress（在mapred-site.xml中配置） | false | reducer输出 | 这个参数设为true启用压缩 |
| mapreduce.output.fileoutputformat.compress.codec（在mapred-site.xml中配置） | org.apache.hadoop.io.compress. DefaultCodec | reducer输出 | 使用标准工具或者编解码器，如gzip和bzip2 |
| mapreduce.output.fileoutputformat.compress.type（在mapred-site.xml中配置） | RECORD | reducer输出 | SequenceFile输出使用的压缩类型：NONE和BLOCK |
以上是关于大数据之Hadoop(MapReduce)：压缩位置选择和压缩参数配置的主要内容，如果未能解决你的问题，请参考以下文章
大数据技术之Hadoop（MapReduce）框架原理数据压缩
大数据技术之Hadoop（MapReduce）框架原理数据压缩
大数据之Hadoop(MapReduce)：Reduce输出端采用压缩