Node 进阶：express 默认日志组件 morgan 从入门使用到源码剖析

本文摘录自我的总结《Nodejs学习笔记》，更多章节及更新，请访问 github主页地址。欢迎加群交流，群号 197339705。

章节概览

morgan是express默认的日志中间件，也能够脱离express，做为node.js的日志组件单独使用。本文由浅入深，内容主要包括：

• morgan使用入门例子
• 如何将日志保存到本地文件
• 核心API使用说明及例子
• 进阶使用：一、日志分割 二、将日志写入数据库
• 源码剖析：morgan的日志格式以及预编译

入门例子

首先，初始化项目。

npm install express morgan复制代码

而后，在basic.js中添加以下代码。

var express = require('express');
var app = express();
var morgan = require('morgan');

app.use(morgan('short'));
app.use(function(req, res, next){
    res.send('ok');
});

app.listen(3000);复制代码

node basic.js运行程序，并在浏览器里访问 http://127.0.0.1:3000 ，打印日志以下

➜  2016.12.11-advanced-morgan git:(master) ✗ node basic.js
::ffff:127.0.0.1 - GET / HTTP/1.1 304 - - 3.019 ms
::ffff:127.0.0.1 - GET /favicon.ico HTTP/1.1 200 2 - 0.984 ms复制代码

将日志打印到本地文件

morgan支持stream配置项，能够经过它来实现将日志落地的效果，代码以下：

var express = require('express');
var app = express();
var morgan = require('morgan');
var fs = require('fs');
var path = require('path');

var accessLogStream = fs.createWriteStream(path.join(__dirname, 'access.log'), {flags: 'a'});

app.use(morgan('short', {stream: accessLogStream}));
app.use(function(req, res, next){
    res.send('ok');
});

app.listen(3000);复制代码

使用讲解

核心API

morgan的API很是少，使用频率最高的就是morgan()，做用是返回一个express日志中间件。

morgan(format, options)复制代码

参数说明以下：

• format：可选，morgan与定义了几种日志格式，每种格式都有对应的名称，好比combined、short等，默认是default。不一样格式的差异可参考这里。下文会讲解下，若是自定义日志格式。
• options：可选，配置项，包含stream（经常使用）、skip、immediate。
  • stream：日志的输出流配置，默认是process.stdout。
  • skip：是否跳过日志记录，使用方式能够参考这里。
  • immediate：布尔值，默认是false。当为true时，一收到请求，就记录日志；若是为false，则在请求返回后，再记录日志。

自定义日志格式

首先搞清楚morgan中的两个概念：format 跟 token。很是简单：

• format：日志格式，本质是表明日志格式的字符串，好比 :method :url :status :res[content-length] - :response-time ms。
• token：format的组成部分，好比上面的:method、:url即便所谓的token。

搞清楚format、token的区别后，就能够看下morgan中，关于自定义日志格式的关键API。

morgan.format(name, format);  // 自定义日志格式
morgan.token(name, fn);  // 自定义token复制代码

自定义format

很是简单，首先经过morgan.format()定义名为joke的日志格式，而后经过morgan('joke')调用便可。

var express = require('express');
var app = express();
var morgan = require('morgan');

morgan.format('joke', '[joke] :method :url :status');

app.use(morgan('joke'));

app.use(function(req, res, next){
    res.send('ok');
});

app.listen(3000);复制代码

咱们来看下运行结果

➜  2016.12.11-advanced-morgan git:(master) ✗ node morgan.format.js
[joke] GET / 304
[joke] GET /favicon.ico 200复制代码

自定义token

代码以下，经过morgan.token()自定义token，而后将自定义的token，加入自定义的format中便可。

var express = require('express');
var app = express();
var morgan = require('morgan');

// 自定义token
morgan.token('from', function(req, res){
    return req.query.from || '-';
});

// 自定义format，其中包含自定义的token
morgan.format('joke', '[joke] :method :url :status :from');

// 使用自定义的format
app.use(morgan('joke'));

app.use(function(req, res, next){
    res.send('ok');
});

app.listen(3000);复制代码

运行程序，并在浏览器里前后访问 http://127.0.0.1:3000/hello?from=app 和 http://127.0.0.1:3000/hello?from=pc

➜  2016.12.11-advanced-morgan git:(master) ✗ node morgan.token.js 
[joke] GET /hello?from=app 200 app
[joke] GET /favicon.ico 304 -
[joke] GET /hello?from=pc 200 pc
[joke] GET /favicon.ico 304 -复制代码

高级使用

日志切割

一个线上应用，若是全部的日志都落地到同一个本地文件，时间久了，文件会变得很是大，既影响性能，又不便于查看。这时候，就须要用到日志分割了。

借助file-stream-rotator插件，能够轻松完成日志分割的工做。除了file-stream-rotator相关的配置代码，其他跟以前的例子差很少，这里不赘述。

var FileStreamRotator = require('file-stream-rotator')
var express = require('express')
var fs = require('fs')
var morgan = require('morgan')
var path = require('path')

var app = express()
var logDirectory = path.join(__dirname, 'log')

// ensure log directory exists
fs.existsSync(logDirectory) || fs.mkdirSync(logDirectory)

// create a rotating write stream
var accessLogStream = FileStreamRotator.getStream({
  date_format: 'YYYYMMDD',
  filename: path.join(logDirectory, 'access-%DATE%.log'),
  frequency: 'daily',
  verbose: false
})

// setup the logger
app.use(morgan('combined', {stream: accessLogStream}))

app.get('/', function (req, res) {
  res.send('hello, world!')
})复制代码

日志写入数据库

有的时候，咱们会有这样的需求，将访问日志写入数据库。这种需求常见于须要实时查询统计的日志系统。

在morgan里该如何实现呢？从文档上，并无看到适合的扩展接口。因而查阅了下morgan的源码，发现实现起来很是简单。

回顾下以前日志写入本地文件的例子，最关键的两行代码以下。经过stream指定日志的输出流。

var accessLogStream = fs.createWriteStream(path.join(__dirname, 'access.log'), {flags: 'a'});
app.use(morgan('short', {stream: accessLogStream}));复制代码

在morgan内部，大体实现是这样的（简化后）。

// opt为配置文件
var stream = opts.stream || process.stdout;
var logString = createLogString();  // 伪代码，根据format、token的定义，生成日志
stream.write(logString);复制代码

因而，能够用比较取巧的方式来实现目的：声明一个带write方法的对象，并做为stream配置传入。

var express = require('express');
var app = express();
var morgan = require('morgan');

// 带write方法的对象
var dbStream = {
  write: function(line){
    saveToDatabase(line);  // 伪代码，保存到数据库
  }
};

// 将 dbStream 做为 stream 配置项的值
app.use(morgan('short', {stream: dbStream}));
app.use(function(req, res, next){
  res.send('ok');
});

app.listen(3000);复制代码

深刻剖析

morgan的代码很是简洁，从设计上来讲，morgan的生命周期包含：

token定义 --> 日志格式定义 -> 日志格式预编译 --> 请求达到/返回 --> 写日志

其中，token定义、日志格式定义前面已经讲到，这里就只讲下 日志格式预编译 的细节。

跟模板引擎预编译同样，日志格式预编译，也是为了提高性能。源码以下，最关键的代码就是compile(fmt)。

function getFormatFunction (name) {
  // lookup format
  var fmt = morgan[name] || name || morgan.default

  // return compiled format
  return typeof fmt !== 'function'
    ? compile(fmt)
    : fmt
}复制代码

compile()方法的实现细节这里不赘述，着重看下compile(fmt)返回的内容：

var morgan = require('morgan');
var format = morgan['tiny'];
var fn = morgan.compile(format);

console.log(fn.toString());复制代码

运行上面程序，输出内容以下，其中tokens其实就是morgan。

function anonymous(tokens, req, res
/**/) {
  return ""
    + (tokens["method"](req, res, undefined) || "-") + " "
    + (tokens["url"](req, res, undefined) || "-") + " "
    + (tokens["status"](req, res, undefined) || "-") + " "
    + (tokens["res"](req, res, "content-length") || "-") + " - "
    + (tokens["response-time"](req, res, undefined) || "-") + " ms";
}复制代码

看下morgan.token()的定义，就很清晰了

function token (name, fn) {
  morgan[name] = fn
  return this
}复制代码

相关连接

《Nodejs学习笔记》：github.com/chyingp/nod…
官方文档：github.com/expressjs/m…