大数据与Hadoop系列之压缩(一)

Hadoop压缩简介 Hadoop作为一个较通用的海量数椐处理平台,在使用压缩方式方面,主要考虑压缩速度和压缩文件的可分割性. 所有的压缩算法都会考虑时间和空间的权衡,更快的压缩和解压缩速度通常会耗费更多的交间(压缩比较低)例如:通过gzip命令压缩数据时,用户可以设置不同的选项来选择速度优先或空间优先.选项-1表示优先考虑速度,选项-9表示空间最优,可以获得最大的压缩比。 需要注意的是:有些压缩
相关文章
相关标签/搜索