hadoop压缩

    1 hadoop压缩codec, 作用: 加快数据传输速度,比如shuffle时,是优化的一部分。   在Hadoop中,codec由CompressionCode的实现来表示,如下是实现:     压缩算法效率:   如果用,感觉综合排名下,lzo效率是最高的。       mr中压缩参数:        
相关文章
相关标签/搜索