Hadoop的IO处理

1.HDFS数据完整性 HDFS会写入所有数据的计算校验和，并对正在读取的数据进行校验，默认校验方式是RCR-32。 不只是读写数据时会进行校验，datanode也会在后台线程中运行DataBlockScanner进行校验，定期检查数据的缺失情况。 客户端读写数据时，发现数据损坏了，向namenode汇报，抛出ChecksumException，namenode将该datanode上的数据转移到其

>>阅读原文<<