《Hadoop权威指南：大数据的存储与分析》—5.1.3 ChecksumFileSystem

5.1.3  ChecksumFileSystem

LocalFileSystem通过ChecksumFileSystem来完成自己的任务，有了这个类，向其他文件系统(无校验和系统)加入校验和就非常简单，因为ChecksumFileSystem类继承自FileSystem类。一般用法如下：

FileSystem rawFs = ...

FileSystem checksummedFs = new ChecksumFileSystem(rawFs);

底层文件系统称为“源”(raw)文件系统，可以使用ChecksumFileSystem实例的getRawFileSystem()方法获取它。ChecksumFileSystem类还有其他一些与校验和有关的有用方法，比如getChecksumFile()可以获得任意一个文件的校验和文件路径。请参考文档了解其他方法。

如果ChecksumFileSystem类在读取文件时检测到错误，会调用自己的reportChecksumFailure()方法。默认实现为空方法，但LocalFileSystem类会将这个出错的文件及其校验和移到同一存储设备上一个名为bad_files的边际文件夹(side directory)中。管理员应该定期检查这些坏文件并采取相应的行动。

大数据 Hadoop

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。