《从零开始学Hadoop大数据分析（视频教学版）》 —3.2.8 Block的副本放置策略

3.2.8  Block的副本放置策略

HDFS中的文件作为独立的存储单元，被划分为块（block）大小的多个分块（chunk），在Hadoop 2.x中默认值为128MB。当HDFS中存储小于一个块大小的文件时不会占据整个块的空间，也就是说，1MB的文件存储时只占用1MB的空间而不是128MB。HDFS的容错性也要求数据自动保存多个副本，副本的放置策略如图3.7所示。

图3.7  副本的放置策略图示

* 第1个副本：放置在上传文件的DN；如果是集群外提交，则随机挑选一台磁盘不太满、CPU不太忙的节点。

* 第2个副本：放置在与第1个副本不同机架的节点上。

* 第3个副本：放置在与第2个副本相同机架的节点上。

* 更多副本：随机节点。

大数据分析 大数据 Hadoop 大数据

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。