Hive数据压缩
Posted chensm
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Hive数据压缩相关的知识，希望对你有一定的参考价值。
****几个配置方式：
>>>MR程序
>>>mapred-site.xml
>>>hive命令行
1.Map端数据输出压缩
set hive.exec.compress.intermediate = true;
set mapreduce.map.output.compress = true;
set mapreduce.map.output.compress.codec = org.apache.hadoop.io.compress.SnappyCodec;
2.Reduce端数据输出压缩
set hive.exec.compress.output = true;
set mapreduce.output.fileoutputformat.compress = true;
set mapreduce.output.fileoutputformat.compress.codec = org.apache.hadoop.io.compress.SnappyCodec;
然后在hive 执行sql语句即可，
可以在yarn的日志页面看到该job的运行参数，明显已经发生了变化：
以上是关于Hive数据压缩的主要内容，如果未能解决你的问题，请参考以下文章