Hadoop应用实战100讲（一）-Hadoop进行文件压缩

前言

在集群中大规模的数据的转换与传输是一项艰巨的任务，而Hadoop自带一套特有的文件I/O系统，使得这项艰巨的任务变得简单。

以下是我为大家准备的几个精品专栏，喜欢的小伙伴可自行订阅，你的支持就是我不断更新的动力哟！

MATLAB-30天带你从入门到精通

MATLAB深入理解高级教程（附源码）

tableau可视化数据分析高级教程

1.压缩

Hadoop文件数据存取与计算需要集群中众多的节点，通过网络连接方式进行相互协作完成作业，节点间的数据采用压缩形式进行传输，这样可以减少存储文件所需的磁盘空间，而且可以加数据在网络和磁盘上的传输。

压缩类型，在采用压缩算法传输数据前，需要考虑的问题是Hadoop需要能够辨识压缩算法计算后的文件，依据业务需求考虑压缩算法的空间占比的均衡。

DEFLATE是同时使用了LZ77算法和哈夫曼编码是一个无损数据压缩算法。它最初是是由菲尔.卡茨为他的PKZIP软件

Hadoop

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。