面对十亿数据量的技术挑战，如何对系统进行性能优化？【石杉的架构笔记】

我的公众号：石杉的架构笔记（ID:shishan100）

“ 这篇文章，咱们来聊一聊在十亿级的大数据量技术挑战下，世界上最优秀的大数据系统之一的Hadoop是如何将系统性能提高数十倍的？

若是对Hadoop这个大数据系统一点了解都没有，能够先看以前的一篇文章快速入个门：兄弟，用大白话告诉你小白都能看懂的Hadoop架构原理

首先一块儿来画个图，回顾一下Hadoop HDFS中的超大数据文件上传的原理。

其实说出来也很简单，好比有个十亿数据量级的超大数据文件，可能都达到TB级了，此时这个文件实在是太大了。

此时，HDFS客户端会给拆成不少block，一个block就128MB。

这个HDFS客户端你能够理解为是云盘系统、日志采集系统之类的东西，好比有人上传一个1TB的大文件到网盘，或者是上传个1TB的大日志文件。

而后HDFS客户端把一个一个的block上传到第一个DataNode，第一个DataNode会把这个block复制一份，作一个副本发送给第二个DataNode，而后第二个DataNode发送一个block副本到第三个DataNode。

因此你会发现，一个block有3个副本，分布在三台机器上。任何一台机器宕机，数据是不会丢失的。

而后一个TB级大文件就被拆散成了N多个MB级的小文件存放在不少台机器上了，这不就是分布式存储么？

今天要讨论的问题，就是那个HDFS客户端上传TB级大文件的时候，究竟是怎么上传呢？

若是用一个比较原始的方式来上传，咱们大概能想到的是下面这个图里的样子。

其实很简单，无非就是不停的从本地磁盘文件用输入流读取数据，而后读到一点，就立马经过网络的输出流写到DataNode里去。

参见上图，对文件的输入流最多就是个FileInputStream，对DataNode的输出流，最多就是个Socket返回的OutputStream，而后中间找一个小的内存byte[]数组，进行流对考就好了。从本地文件读一点数据，就给DataNode发一点数据。

可是若是真是这么弄，性能真是极其的低下了，网络通讯讲究的是适当频率，每次batch批量发送，你得读一大批数据，经过网络通讯发一批数据。不能读一点点数据，就立马来一次网络通讯，就发出去这一点点的数据。

若是按照上面这种原始的方式，绝对会致使网络通讯效率极其低下，大文件上传性能不好。至关于你可能刚读出来几百个字节的数据，立马就写网络，卡顿个好比几百毫秒，而后再读下一批几百个字节的数据，再写网络卡顿个几百毫秒，这个性能不好，几乎在工业级的大规模分布式系统中，是没法容忍的。

Hadoop中的大文件上传如何优化性能？咱们来看看下面那张图。

你须要本身建立一个针对本地TB级磁盘文件的输入流，而后读到数据以后立马写入HDFS提供的FSDataOutputStream输出流。

这个FSDataOutputStream输出流在干啥呢？他会天真的立马把数据经过网络传输写给DataNode吗？

答案固然是否认的！这么干的话，不就跟以前的那种方式同样了！

一、Chunk缓冲机制

首先，数据会被写入一个chunk缓冲数组，这个chunk是一个512字节大小的数据片断，你能够这么来理解。

而后这个缓冲数组能够容纳多个chunk大小的数据在里面缓冲。光是这个缓冲，首先就可让客户端快速的写入数据了，不至于说几百字节就要进行一次网络传输，对吧？

二、Packet数据包机制

接着，当chunk缓冲数组都写满了以后，就会把这个chunk缓冲数组进行一下chunk切割，切割为一个一个的chunk，一个chunk是一个数据片断。而后多个chunk会直接一次性写入另一个内存缓冲数据结构，就是Packet数据包。

一个Packet数据包，设计为能够容纳127个chunk，大小大体为64mb。因此说大量的chunk会不断的写入Packet数据包的内存缓冲中。经过这个Packet数据包机制的设计，又能够在内存中容纳大量的数据，进一步避免了频繁的网络传输影响性能。

三、内存队列异步发送机制

当一个Packet被塞满了chunk以后，就会将这个Packet放入一个内存队列来进行排队，而后有一个DataStreamer线程会不断的获取队列中的Packet数据包，经过网络传输直接写一个Packet数据包给DataNode。

若是一个Block默认是128mb的话，那么一个Block默认会对应两个Packet数据包，每一个Packet数据包是64MB。

也就是说传送两个Packet数据包DataNode以后，就会发一个通知说，一个Block的数据都传输完毕，那DataNode就知道本身收到了一个Block了，包含了人家发送过来的两个Packet数据包。

总结：

ok，你们看完了上面的那个图以及hadoop采起的大文件上传机制，是否是感受设计的很巧妙？

工业级的大规模分布式系统，都不会采起特别简单的代码和模式，那样性能很低下。这里都有大量的并发优化、网络IO优化、内存优化、磁盘读写优化的架构设计、生产方案在里面。

因此你们观察上面那个图，hdfs客户端能够快速的将tb级大文件的数据读出来，而后快速的交给hdfs的输出流写入内存，基于内存里的chunk缓冲机制、packet数据包机制、内存队列异步发送机制，绝对不会有任何网络传输的卡顿，致使大文件的上传速度变慢。反而经过上述几种机制，能够大幅度提高一个TB级大文件的上传性能。

END

欢迎长按下图关注公众号：石杉的架构笔记！

公众号后台回复资料，获取做者独家秘制学习资料

石杉的架构笔记，BAT架构经验倾囊相授