[大牛翻译系列]Hadoop(16)MapReduce 性能调优:优化数据序列化

6.4.6 优化数据序列化 如何存储和传输数据对性能有很大的影响。在这部分将介绍数据序列化的最佳实践,从Hadoop中榨出最大的性能。html   压缩 压缩是Hadoop优化的重要部分。经过压缩能够减小做业输出数据的储存足迹,加速MapReduce做业下游接收数据。另外,在map和reduce之间的数据须要被压缩以减轻网络IO的压力。压缩技术的具体内容在第5章中介绍。网络   二进制文件格式数据
相关文章
相关标签/搜索