总结HDFS的IO操作

数据完整性 用户希望储存和处理数据的时候,不会有任何损失或者损坏。 Hadoop提供两种校验: 1. 校验和(常用循环冗余校验CRC-32) 2. 运行后台进程来检测数据块 HDFS是用CRC-32(32位循环冗余校验,4个字节大小)作为其数据完整性校验方式,下面分两种常态情况介绍其校验过程: IO操作 在通过client向DataNode节点写数据时,会先在client端针对写的数据每个io.b
相关文章
相关标签/搜索