HDFS的IO操作

一、数据完整性   IO操作过程中难免会出现数据丢失或脏数据，数据传输得量越大出错得几率越高，而用户希望储存和处理数据的时候，不会有任何损失或者损坏。   Hadoop提供两种校验 1校验和（常用循环冗余校验CRC-32） 2运行后台进程来检测数据块 校验和 a.写入数据节点验证。   Hdfs会对写入的所有数据计算校验和，并在读取数据时验证校验和。   元数据节点负责在验证收到的数据后，储存数据

>>阅读原文<<