HDFS纠删码

纠删码是CDH6/Hadop3引入的新功能，之前的HDFS都是副本方式容错，默认情况下，一个文件有三个副本，可以容忍任意2个副本（Datanode）不可用，是以牺牲空间的代价提供了数据的可用性，带来了2倍的冗余开销。例如1TB的数据，需要3TB的空间来进行存储。而纠删码可以在同等可用性的情况下，节省更多的空间。 以RS-6-3-1024k为例，6份原始数据，编码后生成3份校验数据，一共9份数据，只

>>阅读原文<<