初识MinBox Logging

I. MinBox Logging 是什么？

1. 采集端 & 服务端

MinBox Logging是由minbox-projects开源组织推出的一款零侵入分布式链路日志组件，可用于微服务、RPC、单体应用使用。

MinBox Logging内存在两个概念，分别是：Client、Server。

• Client

  Client咱们能够理解为日志的采集端，也就是咱们的业务服务端，你的服务须要记录日志就能够理解做为Client端。

• Server

  Server是日志的管理服务端点，提供日志的存储、阀值分析提醒（暂未发布）、链路分析（暂未发布）等功能，统一接收日志采集端上报的请求日志信息并作记录，目前支持写入数据库、自定义存储机制，下一步整合消息队列来处理大批量日志的存储问题。

  服务端经过整合服务注册中心能够完成负载均衡多节点部署。

II. MinBox Logging 能够作什么？

MinBox Logging能够用来记录你的应用程序请求日志信息，能够将发起请求的IP、头信息、URL参数、请求主体参数、耗时、响应内容、异常堆栈信息等。

下面是MinBox Logging能够获取到的基本信息，以下所示：

{
	"endTime":1568252359448,
	"httpStatus":200,
	"requestBody":"",
	"requestHeaders":{
		"accept":"*/*",
		"host":"localhost:40030",
		"user-agent":"curl/7.54.0"
	},
	"requestIp":"10.180.98.120",
	"requestMethod":"GET",
	"requestParam":"{}",
	"requestUri":"/open/system/time/current",
	"responseBody":"{\"code\":\"SUCCESS\",\"data\":1568252359425,\"errorMsg\":\"\",\"success\":true,\"timestamp\":1568252359425}",
	"responseHeaders":{},
	"serviceId":"bff-open-api",
	"serviceIp":"10.180.98.245",
	"servicePort":"40030",
	"spanId":"56aaa01c-cad5-41c6-bd46-bf94626d77bd",
	"startTime":1568252359416,
	"timeConsuming":32,
	"traceId":"ad9ff32c-6195-4f75-adf2-1eb1ed98aaf9"
}
复制代码

以上信息是由MinBox Logging进行在控制台格式化并打印输出（前提：配置输出日志参数），咱们能够经过MinBox Logging提供的日志通知接口来实现本身的业务逻辑，详见org.minbox.framework.logging.client.notice.LoggingNotice源码。

2. 日志来源

Client采集的每一条请求日志都会携带产生的服务器IP、应用程序名称、应用程序端口号而且一并上传到Server，根据这些内容能够直接定位到日志的来源位置，可根据Client上报的数量进行占比分析，来决定服务请求分发负载均衡权重配置。

3. 耗时分析

每一次请求都会产生耗时，而接口耗时过长，可能会致使接口阻塞（若是应用程序没有加入熔断机制），针对这个问题MinBox Logging提供了计算耗时的方式，经过MinBoxLog#timeConsuming字段获取本次请求的耗时时间，单位是：毫秒，根据本身的业务自定义一个耗时阀值来进行通知耗时过长的请求给指定邮箱或者其余途径。

4. 异常解决

若是在用户请求过程当中遇到了异常信息，而应用程序的控制台日志文件过大进行筛选异常信息时会耽误必定的时间，针对这个问题MinBox Logging提供获取请求中遇到异常的堆栈信息，经过异常信息能够精准的定位出现异常的代码位置。

5. 参数监控

用户发送的请求参数，咱们没法进行限制，不过咱们能够进行参数监控，经过制定参数对应的参数值来进行分析、监控，将分析结果经过存储或者通知方式告知。

6. 敏感头信息监控

与请求参数一致，经过请求头信息咱们一样能作的事情有不少。

7. 请求IP分析

经过这个功能，咱们能够记录每个发起请求的IP地址接口访问量、访问的频率、峰值等信息。

8. 其余

等待发掘合适的业务.

III. 日志获取方式

日志信息在Client、Server均可以获取，拿到请求日志信息后，能够实现上面的扩展功能。

9. Client获取日志

在Client端能够经过LoggingNotice方式来获取MinBoxLog日志对象，根据对象的字段值来进行处理分析等业务，可建立多个LoggingNotice实现类来分析处理不一样的业务，优先级根据LoggingNotice#getOrder方法的返回值而定。

/** * 自定义日志通知 * 当不上报日志到`Logging Admin`时，可以使用{@link LoggingNotice}来进行本地处理日志 * 上报日志与本地处理不冲突，可并存 * * @author 恒宇少年 */
@Component
public class CustomerLoggingNotice implements LoggingNotice {
    /** * 通知方法 * * @param minBoxLog ApiBoot Log */
    @Override
    public void notice(MinBoxLog minBoxLog) {
        System.out.println(minBoxLog.getTraceId());
      	// MinBoxLog 对象即为控制台打印的json信息，能够拿到里面的所有字段内容
    }

    /** * 通知执行优先级 * {@link #getOrder()}方法返回值值越小优先级越高 * * @return */
    @Override
    public int getOrder() {
        return 1;
    }
}
复制代码

经过notice方法的参数能够直接获取到MinBoxLog对象，可根据参数值进行自定义业务判断处理。

10. Server获取日志

建议在Server端进行日志统一处理，虽然Client能够经过实现LoggingNotice接口来扩展日志处理，不过也是针对单个Client应用程序，对于分布式微服务应用程序来讲却显得那么的无力。

由于每一个Client都会进行上报到Server，因此在Server进行日志处理是最好的选择。

Server能够经过监听ReportLogEvent事件来获取Client的基本信息以及上报的日志列表（若是Client配置了延迟上报，每次可上报多条。），以下所示：

/** * 自定义上报日志事件{@link ReportLogEvent}监听 * * @author 恒宇少年 */
@Component
public class CustomerReportEventListener implements SmartApplicationListener {
    /** * logger instance */
    static Logger logger = LoggerFactory.getLogger(CustomerReportEventListener.class);

    /** * 判断事件类型为{@link ReportLogEvent} * * @param eventType * @return */
    @Override
    public boolean supportsEventType(Class<? extends ApplicationEvent> eventType) {
        return ReportLogEvent.class == eventType;
    }

    /** * 自定义处理业务 * Client一次可上报多条日志{@link MinBoxLog}信息 * * @param event {@link ReportLogEvent} */
    @Override
    public void onApplicationEvent(ApplicationEvent event) {
        ReportLogEvent reportLogEvent = (ReportLogEvent) event;
        LoggingClientNotice loggingClientNotice = reportLogEvent.getLogClientNotice();

        // MinBoxLog 日志列表
        List<MinBoxLog> logs = loggingClientNotice.getLoggers();

        logger.debug("上报日志服务：{}，IP地址：{}，端口号：{}，日志列表：", loggingClientNotice.getClientServiceId(),
                loggingClientNotice.getClientServiceIp(),
                loggingClientNotice.getClientServicePort(),
                logs);
    }
}
复制代码

SmartApplicationListener是Spring提供的事件监听接口，因为该接口继承了Ordered因此拥有了#getOrder方法，经过该方法能够调整自定义日志监听的执行优先级。

IV. 源码 & 文档 & 集成实践

• 开源地址：gitee.com/minbox-proj…

• 使用文档地址：gitee.com/minbox-proj…

• ApiBoot最佳集成实践源码：gitee.com/minbox-proj…

• MinBox Logging Samples：gitee.com/minbox-proj…