大数据(3) Hadoop如何将TB级大文件的上传性能优化上百倍

一、写在前面 上一篇文章，我们聊了一下Hadoop中的NameNode里的edits log写机制。 主要分析了edits log写入磁盘和网络的时候，是如何通过分段加锁以及双缓冲的机制，大幅度提升了多线程并发写edits log的吞吐量，从而支持高并发的访问。 如果没看那篇文章的同学，可以回看一下：大规模集群下Hadoop NameNode如何承载每秒上千次的高并发访问。 这篇文章，我们来看看，

>>阅读原文<<