理解 nodeJS 中的 buffer，stream

在Node.js开发中，当遇到 buffer，stream，和二进制数据处理时，你是否像我同样，老是感到困惑？这种感受是否会让你认为不了解它们，觉得它们不适合你，认为而这些是Node.js做者们的事情？

确实，这些东西可能很是使人生畏，尤为是当你在缺少计算机底层基础知识，进行相关的开发。

 可悲的是，许多教程和书籍直接告诉你如何使用 Node.js 包开发 Web 应用程序，而没有让你了解 Node.js 的核心功能以及它们存在的缘由，有些人会地告诉你，你不须要了解它们，由于你可能永远不会直接用到这些。

没错，若是你选择作一名普通开发人员，可能永远不会用到他们。

若是你对这些内容存在疑问，你想理解 Node.js 的许多核心功能，好比 buffer...这就是我写本篇文章的缘由，这是为了帮助咱们揭开其中一些功能的神秘面纱，并使咱们对 Node.js 的学习更上一层楼。

 官方的 Node.js 文档部分说明：

 JavaScript 语言没有读取或操做二进制数据流的机制。 Buffer 类被引入做为 Node.js API 的一部分，使其能够在 TCP 流或文件系统操做等场景中处理二进制数据流。

嗯，除非你对上述句子中的描述有相关的知识和经验，不然它们可能只是一堆术语。

咱们简化一下这些解释，以便咱们能够更好的理解他们，官方的描述能够总结为一句话：buffer 可以与二进制数据流进行交互操做。

可是 buffer，stream，二进制数据，仍然有不少不理解的地方。 好吧，咱们尝试解决这些重要的问题。

 二进制数据是什么？

 你可能已经知道计算机是以二进制形式存储和表示数据，二进制只是一个1或0的集合。例如，如下是五个不一样的二进制文件，5个不一样的1和0集：

10，01，001，1110，00101011

 二进制中的每一个数字，0或1叫作位(bit)，也就是Binary digIT 的缩写。

为了可以存储和表示这些数据，计算机须要将数据转换为二进制形式。好比，要存储数字12，计算机须要将12转化为二进制 1100

计算机怎么知道要如何去转换？这就彻底是一个数学问题了。计算机是知道怎么去处理的，有兴趣的能够本身查阅。

可是咱们平常工做的数据类型不只仅是数字，咱们还有字符串，图像，视频...计算机知道如何用二进制表示全部类型的数据的，让咱们以字符串为例。计算机如何用二进制表示字符串“ L”？为了将字符存储为二进制形式，计算机首先将该字符转换为数字，而后将该数字转换为二进制表示，所以，对于字符串“ L”， 计算机首先将L转换为表明L的数字，让咱们看如何操做：

打开浏览器控制台，粘贴如下代码段："L".charCodeAt(0)，按 Enter，你看到了什么？数字76？这就是字母L的数字编码，可是计算机怎么知道具体哪一个数字表明那个字母呢？如何知道数字76表示L？

 字符集

字符集是已经定义的一套规则，明确指出每一个数字表明的字符，这些规则有不一样的定义，流行的规则包括 Unicode 和 ASCII，JavaScript 在 Unicode 字符集方面的表现很是好，实际上，在浏览器中，它是 Unicode（能够尝试其余字符集），指出76表示大写“L”。

咱们已经了解了计算机如何用数字表示字符，如今，计算机将依次将数字76表示为其二进制形式，你可能会认为，只需将76转换为以2为底的数字系统，没那么快！

 字符编码

 就像字符集规则定义那些数字表明那些字符同样，也有一些规则定义了如何使用二进制形式中表示该数字，具体来讲，就是使用多少位来表示数字，这就是字符编码。

咱们常见字符编码之一是 UTF-8，UTF-8 规定字符以字节表示，一个字节是8位(bit)，即8个1和0表示一个字节，因此，用8个1和0组成的二进制序列，来表示和存储任意的一个字符。

为了更好的理解，举个例子： 好比以前提到的12的二进制表示是1100。 因此，使用 UTF-8 的格式来表示，应该使用一个字节，也就是8位来完整表示，也即00001100， 没有错吧？

所以，76在计算机中的存储形式应该是01001100。

 

这就是计算机将字符存储成二进制的方式。固然，计算机也有一些特殊规则，将图片、视频等存储为二进制的，总之，计算机会将不管图片、视频或其余数据都转换为二进制并存储，这就是咱们说的二进制数据。

若是你对字符编码很是感兴趣，那你能够参考一下这篇文章

 Stream

 在Node.js中，流(stream)就是一系列从A点到B点移动的数据，完整点的说，就是当你有一个很大的数据须要传输、搬运时，你不须要等待全部数据都传输完成才开始下一步工做。

实际上，大型数据会被分割成小块(chunks)进行传输。因此，buffer 的原始定义中所说的(“streams of binary data… in the context of… file system”)意思就是说二进制数据在文件系统中的传输。好比，将 file1.txt 的文字存储到 file2.txt 中。

可是，buffer 到底在流(stream)中，是如何操做二进制数据的？buffer 究竟是什么呢？

 Buffer

 咱们已经知道数据流(stream of data)是从一个地方向另外一个地方传输数据的过程，可是这个具体是怎么样的一个过程？

一般状况下，咱们传输数据每每是为了读取它，处理它，或者基于这些数据作一些其余操做，可是，在每次传输过程当中，有一个数据量的问题。所以当获取到数据的时间比处理数据理的时间快时，咱们处理数据就须要等待了。

这个”等待区域”就是 buffer! 它是电脑上的一个很小的物理地址，通常在内存中，数据在这里暂时存储，等待，最后在流(stream)中，发送出去并处理，好比说和显卡相关的 webgl 处理就是一个例子。

咱们能够把整个流(stream)和 buffer 的配合过程看做公交站。在一些公交站，公车在没有装满乘客前是不会发车的，或者在特定的时刻才会发车。固然，乘客也可能在不一样的时间，人流量大小也会有所不一样，有人多的时候，有人少的时候，乘客或公交站都没法控制人流量。

 

不论什么时候，早到的乘客都必须等待，直到公车接到指令能够发车。当乘客到站，发现公车已经装满，或者已经开走，他就必须等待下一班车次。

总之，这里总会有一个等待的地方，这个等待的区域就是 Node.js 中的 Buffer，Node.js 不能控制数据何时传输过来，传输速度，就好像公交车站没法控制人流量同样。他只能决定何时发送数据。若是时间还不到，那么 Node.js 就会把数据放入 buffer（等待区域）中，一个在内存中的地址，直到把他们发送出去进行处理。

 

一个关于 buffer 很典型的例子，就是你在线看视频的时候。若是你的网络足够快，数据流(stream)就能够足够快，可让 buffer 迅速填满而后发送和处理，而后处理另外一个，再发送，再另外一个，再发送，而后整个 stream 完成。

可是当你网络链接很慢，当处理完当前的数据后，你的播放器就会暂停，或出现”缓冲”(buffer)字样，意思是正在收集更多的数据，或者等待更多的数据到来，才能下一步处理。当buffer装满并处理好，播放器就会显示数据，也就是播放视频了。在播放当前内容的时候，更多的数据也会源源不断的传输、到达和在 buffer 等待。

 这就是 buffer！

 从原始的定义，咱们知道，buffer 能够在 stream 中与二进制数据进行交互和操做。那么到底能够进行什么样的操做呢？在 Node.js 中又应该如何进行刚才所描述的一些东西呢？咱们来瞧一瞧。

与 buffer 交互

你能够建立本身的缓冲区！在 stream 中，Node.js 会自动帮你建立 buffer 以外，你能够建立本身的 buffer 并操做它，是否是颇有趣？ 咱们来建立一个！

根据不一样的需求，可使用不一样的方法来建立缓冲区。

// 建立一个大小为 10 的空 buffer
// 这个 buffer 只能承载10个字节的内容

const buf1 = Buffer.alloc(10);

// 根据内容直接建立 buffer
const buf2 = Buffer.from("hello buffer");

建立缓冲区后，就能够操做了

// 检查下buffer的结构

buf1.toJSON()
// { type: 'Buffer', data: [0, 0, 0, 0, 0, 0, 0, 0, 0, 0] }

// 一个空的 buffer
buf2.toJSON()

// { type: 'Buffer', data: [104, 101, 108, 108, 111, 32, 98, 117, 102, 102, 101, 114] }
// the toJSON() 方法能够将数据进行 Unicode 编码并展现

// 检查 buffer 的大小

buf1.length // 10

buf2.length // 12 根据数据自动填充并建立

// 写入数据到 buffer
buf1.write("Buffer really rocks!")

// 解码buffer

buf1.toString() // 'Buffer rea'

// 对不起，由于buf1只能承载10个字节的内容，全部多处的东西会被截断

咱们可使用 buffer 进行更多操做，前往官方文档，进一步了解这些方法。

最后，我将面临这个小挑战：仔细阅读 Node.js 的核心库之一 zlib.js 的源代码，以了解它如何利用 buffer 的功能来操做二进制数据流，处理后，最后变成gziped文件。 当你在阅读的时候，记录下你的学习经历并在评论中分享下来吧。

但愿本文能帮助你更好地了解 Node.js Buffer。

若是你以为这篇文章不错，而其余人也有机会看到这一点，点个赞吧，以帮助其余人更好地理解 Buffer。

原文