Hadoop权威指南 第5章 Hadoop I/O

第5章 Hadoop I/O 数据完整性 压缩 基于文件的数据结构 数据完整性 Hadoop ChecksumFileSystem 使用 CRC-3计算校验和，HDFS用于校验和计算的则是一个更有效的变体CRC-32C。 datanode在接收到客户端或者复制其他datanode的数据时校验数据。 由于HDFS存储着每个数据块的复本，一次可以通过数据复本修复损坏的数据块，进而得到一个新的、完好无损

>>阅读原文<<