HADOOP中mapreduce开启压缩功能

                       最近给热云公司共享数据,咱们把原始数据给到他们,让他们作计算。天天同步一次,数据量压缩后10几个G,数据来自hive的mapreduce查询。经过insert overwrite local directory select语句将数据写入本地的NFS,而后对数据压缩,并在NFS的服务端机器提供文件下载功能。因为压缩前数据量太大,大概有90G左右。所以在
相关文章
相关标签/搜索