Hadoop的IO操作--校验和-文件结构-数据类型-压缩

一、数据完整性   用户希望储存和处理数据的时候，不会有任何损失或者损坏。Hadoop提供两种校验：校验和、运行后台程序来检测数据块 1、校验和（常用循环冗余校验CRC-32） ①写入数据节点验证      --Hdfs会对写入的所有数据计算校验和，并在读取数据时验证校验和。      --元数据节点负责在验证收到的数据后，储存数据及其校验和。在收到客户端数据或复制其他datanode的数据时执行

>>阅读原文<<