大数据—Hadoop的HDFS数据完整性校验

一、HDFS数据完整性        Hadoop提供两种校验         1.校验和           Hdfs会对写入的所有数据计算校验和，并在读取数据时验证校验和。元数据节点负责在验证收到的数据后，储存数据及其及其校验和。在收到客户端数据或复制其他datanode的数据时执行。正在写数据的客户端将数据及其校验和发送到一系列数据节点组成的管线，管线的最后一个数据节点负责验证校验和。客户端

>>阅读原文<<