Hadoop应用实战100讲-Hadoop进行文件压缩

Posted 2021-09-07 文宇肃然

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Hadoop应用实战100讲-Hadoop进行文件压缩相关的知识，希望对你有一定的参考价值。

前言

在集群中大规模的数据的转换与传输是一项艰巨的任务，而Hadoop自带一套特有的文件I/O系统，使得这项艰巨的任务变得简单。

以下是我为大家准备的几个精品专栏，喜欢的小伙伴可自行订阅，你的支持就是我不断更新的动力哟！

Hadoop文件数据存取与计算需要集群中众多的节点，通过网络连接方式进行相互协作完成作业，节点间的数据采用压缩形式进行传输，这样可以减少存储文件所需的磁盘空间，而且可以加数据在网络和磁盘上的传输。

压缩类型，在采用压缩算法传输数据前，需要考虑的问题是Hadoop需要能够辨识压缩算法计算后的文件，依据业务需求考虑压缩算法的空间占比的均衡。

DEFLATE是同时使用了LZ77算法和哈夫曼编码是一个无损数据压缩算法。它最初是是由菲尔.卡茨为他的PKZIP软件

以上是关于Hadoop应用实战100讲-Hadoop进行文件压缩的主要内容，如果未能解决你的问题，请参考以下文章