NodeJS Stream 二：什么是 Stream

对于大部分有后端经验的的同窗来讲 Stream 对象是个再合理而常见的对象，但对于前端同窗 Stream 并非那么理所固然，github 上甚至有一篇 9000 多 Star 的文章介绍到底什么是 Stream —— stream-handbook。为了更好的理解 Stream，在这篇文章的基础上简单总结归纳一下。

什么是 Stream

在 Unix 系统中流就是一个很常见也很重要的概念，从术语上讲流是对输入输出设备的抽象。

ls | grep *.js

相似这样的代码咱们在写脚本的时候常常能够遇到，使用 | 链接两条命令，把前一个命令的结果做为后一个命令的参数传入，这样数据像是水流在管道中传递，每一个命令相似一个处理器，对数据作一些加工，所以 | 被称为 “管道符号”。

NodeJS 中 Stream 的几种类型

从程序角度而言流是有方向的数据，按照流动方向能够分为三种流

1. 设备流向程序：readable
2. 程序流向设备：writable
3. 双向：duplex、transform

NodeJS 关于流的操做被封装到了 Stream 模块，这个模块也被多个核心模块所引用。按照 Unix 的哲学：一切皆文件，在 NodeJS 中对文件的处理多数使用流来完成

1. 普通文件
2. 设备文件（stdin、stdout）
3. 网络文件（http、net）

有一个很容易忽略的知识点：在 NodeJS 中全部的 Stream 都是 EventEmitter 的实例。

小例子

咱们写程序突然须要读取某个配置文件 config.json，这时候简单分析一下

• 数据：config.json 的内容
• 方向：设备（物理磁盘文件） -> NodeJS 程序

咱们应该使用 readable 流来作此事

const fs = require('fs');
const FILEPATH = '...';

const rs = fs.createReadStream(FILEPATH);

经过 fs 模块提供的 createReadStream() 方法咱们轻松的建立了一个可读的流，这时候 config.json 的内容从设备流向程序。咱们并无直接使用 Stream 模块，由于 fs 内部已经引用了 Stream 模块，并作了封装。

有了数据后咱们须要处理，好比须要写到某个路径 DEST ，这时候咱们遍须要一个 writable 的流，让数据从程序流向设备。

const ws = fs.createWriteStream(DEST);

两种流都有了，也就是两个数据加工器，那么咱们如何经过相似 Unix 的管道符号 | 来连接流呢？在 NodeJS 中管道符号就是 pipe() 方法。

const fs = require('fs');
const FILEPATH = '...';

const rs = fs.createReadStream(FILEPATH);
const ws = fs.createWriteStream(DEST);

rs.pipe(ws);

这样咱们利用流实现了简单的文件复制功能，关于 pipe() 方法的实现原理后面会提到，但有个值得注意地方：数据必须是从上游 pipe 到下游，也就是从一个 readable 流 pipe 到 writable 流。

加工一下数据

上面提到了 readable 和 writable 的流，咱们称之为加工器，其实并不太恰当，由于咱们并无加工什么，只是读取数据，而后存储数据。

若是有个需求，把本地一个 package.json 文件中的全部字母都改成小写，并保存到同目录下的 package-lower.json 文件下。

这时候咱们就须要用到双向的流了，假定咱们有一个专门处理字符转小写的流 lower，那么代码写出来大概是这样的

const fs = require('fs');

const rs = fs.createReadStream('./package.json');
const ws = fs.createWriteStream('./package-lower.json');

rs.pipe(lower).pipe(ws);

这时候咱们能够看出为何称 pipe() 链接的流为加工器了，根据上面说的，必须从一个 readable 流 pipe 到 writable 流：

• rs -> lower：lower 在下游，因此 lower 须要是个 writable 流
• lower -> ws：相对而言，lower 又在上游，因此 lower 须要是个 readable 流

有点推理的赶脚呢，可以知足咱们需求的 lower 必须是双向的流，具体使用 duplex 仍是 transform 后面咱们会提到。

固然若是咱们还有额外一些处理动做，好比字母还须要转成 ASCII 码，假定有一个流 ascii 那么咱们代码多是

rs.pipe(lower).pipe(acsii).pipe(ws);

一样 ascii 也必须是双向的流。这样处理的逻辑是很是清晰的，那么除了代码清晰，使用流还有什么好处呢？

为何应该使用 Stream

有个用户须要在线看视频的场景，假定咱们经过 HTTP 请求返回给用户电影内容，那么代码可能写成这样

const http = require('http');
const fs = require('fs');

http.createServer((req, res) => {
   fs.readFile(moviePath, (err, data) => {
      res.end(data);
   });
}).listen(8080);

这样的代码又两个明显的问题

1. 电影文件须要读完以后才能返回给客户，等待时间超长
2. 电影文件须要一次放入内存中，类似动做多了，内存吃不消

用流能够讲电影文件一点点的放入内存中，而后一点点的返回给客户（利用了 HTTP 协议的 Transfer-Encoding: chunked 分段传输特性），用户体验获得优化，同时对内存的开销明显降低

const http = require('http');

const fs = require('fs');

http.createServer((req, res) => {

   fs.createReadStream(moviePath).pipe(res);

}).listen(8080);

除了上述好处，代码优雅了不少，拓展也比较简单。好比须要对视频内容压缩，咱们能够引入一个专门作此事的流，这个流不用关心其它部分作了什么，只要是接入管道中就能够了

const http = require('http');

const fs = require('fs');

const oppressor = require(oppressor);

http.createServer((req, res) => {

   fs.createReadStream(moviePath)

      .pipe(oppressor)

      .pipe(res);

}).listen(8080);

能够看出来，使用流后，咱们的代码逻辑变得相对独立，可维护性也会有必定的改善，关于几种流的具体使用方式且听下回分解。