ELK+FileBeat+Log4Net搭建日志系统

ELK+FileBeat+Log4Net搭建日志系统

来源：https://www.zybuluo.com/muyanfeixiang/note/608470

标签（空格分隔）： ELK Log4Net

---

项目中以前都是采用数据库来记录日志，虽然记录还算挺方便，可是每次都要到数据库来查询，若是日志在单独的数据库还好，只是有点麻烦。若是记录的日志数据库和生产正式库在一块儿，不只会影响生产库的正常使用，也会带来安全隐患。
项目早期没有统一规划，也是时间仓促，没有作好日志的规划，全部日志都记录到数据库中。的确也遇到了性能问题，所以在了解ELK的基础上，使用其做为日志采集、处理和检索的几本框架。

大致框架

日志数据流以下，应用将日志落地在本地文件，部署在每台服务器上的FileBeat负责收集日志，而后将日志发送给LogStash；LogStash将日志进行处理以后，好比parse等；而后将处理后的Json对象传递给ElasticSearch，进行落地并进行索引处理；最后经过Kibana来提供web界面，来查看日志等。由于ES是基于Lucene的，因此Kibana支持Lucene查询语法。

对于日志数据流特别大的状况，LogStash会形成拥堵，这个时候可使用消息队列来进行缓冲。同时，日志一旦进过LogStash以后，会不方面一些流处理程序来读取。这个时候使用kafka就比较好了，由于kafka是将消息持久化在本地，流处理应用能够从消息的offset初始的地方来读取。加入kafka的后的流程以下：

配置过程

Log4Net配置

首先，最基本的引用Log4Net程序集，补多少。
其次，要在项目的AssemblyInfo.cs添加以下代码,这样配置才能给启做用。
[assembly: log4net.Config.XmlConfigurator(Watch = true)]
最后，也是最重要的就是在web.config（或app.config）中配置了。
在configSections中添加以下代码
<configSections> <section name="log4net" type="log4net.Config.Log4NetConfigurationSectionHandler, log4net" /> </configSections>
添加log4net节点

<log4net>
    <root>
      <level value="ALL" />
      <appender-ref ref="rollingFile" />
      <appender-ref ref="ErrorRollingFile" />
    </root>
    <appender name="rollingFile" type="log4net.Appender.RollingFileAppender,log4net">
      <filter type="log4net.Filter.LevelRangeFilter">
        <levelMin value="DEBUG" />
        <levelMax value="WARN" />
      </filter>
      <!--日志的路径-->
      <param name="File" type="" value="D://WebLog//Log4NetTest.App//" />
       <param name="Encoding" value="UTF-8"/>
      <!--是否覆盖，默认是追加true-->
      <param name="AppendToFile" value="true" />
      <param name="RollingStyle" value="Date" />
      <!--文件名称-->
      <param name="DatePattern" value="yyyy-MM-dd'.Debug.log'" />
      <!--设置无限备份=-1 ，最大备份数为1000-->
      <param name="MaxSizeRollBackups" value="1000" />
      <!--每一个文件的大小-->
      <param name="MaximumFileSize" value="102KB" />
      <!--名称是否能够更改成false为能够更改-->
      <param name="StaticLogFileName" value="false" />
      <layout type="log4net.Layout.PatternLayout,log4net">
        <!--输出格式-->
        <param name="ConversionPattern" value="[%date] [%thread] %-5level Log4NetTest %logger %method [%message%exception]%n" />
      </layout>
    </appender>
    <appender name="ErrorRollingFile" type="log4net.Appender.RollingFileAppender,log4net">
      <filter type="log4net.Filter.LevelRangeFilter">
        <levelMin value="ERROR" />
        <levelMax value="FATAL" />
      </filter>
      <!--日志的路径-->
      <param name="File" type="" value="D://WebLog//Log4NetTest.App//" />
       <param name="Encoding" value="UTF-8"/>
      <!--是否覆盖，默认是追加true-->
      <param name="AppendToFile" value="true" />
      <param name="RollingStyle" value="Date" />
      <!--文件名称-->
      <param name="DatePattern" value="yyyy-MM-dd'.Error.log'" />
      <!--设置无限备份=-1 ，最大备份数为1000-->
      <param name="MaxSizeRollBackups" value="1000" />
      <!--每一个文件的大小-->
      <param name="MaximumFileSize" value="102KB" />
      <!--名称是否能够更改成false为能够更改-->
      <param name="StaticLogFileName" value="false" />
      <layout type="log4net.Layout.PatternLayout,log4net">
        <!--输出格式-->
        <param name="ConversionPattern" value="[%date] [%thread] %-5level Log4NetTest %l [%message%n%exception]%n"/>
      </layout>
    </appender>
  </log4net>

针对两种不一样类型的应用日志，分别使用两种pattern，也分别记录到Debug.lg和Error.log文件中。

• 日志类型为Debug,Info,Warn的日志，使用[%date] [%thread] %-5level Log4NetTest %logger %method [%message%exception]%n模式，分别记录下时间，线程，日志等级，应用名称，日志记录类属性，日志记录方法，日志信息和异常
• 日志类型为Error和Fatal的日志，使用[%date] [%thread] %-5level Log4NetTest %l [%message%n%exception]%n，分别是时间，线程，日志等级，应用名称，出错位置（包含具体文件，以及所在行，须要PDB文件才能到行），日志信息和异常

分两类的主要缘由就在因而否记录了出错位置，这个是比较耗性能的操做，因此对于常规的Debug,Info,Warn能够不记录位置。
除此以外，没有记录host，由于FileBeat在采集日志时候会自动记录hostname。这样log4net的基本配置就完成了。

FileBeat配置

只需简单的配置就便可使用，固然也能够配置的很复杂。配置文件filebeat.yml
一个input_type表明一个输入源，可选值只有log和stdin。
paths是日志采集路径，可使用通配符。
document_type是能够用来表示日志类型。输入到logstash中对应[type]，能够据此使用不一样grok语法来parse，这里分为errorLog和debugLog。

multiline.pattern: '^\['
  multiline.negate: true
  multiline.match: after

上面这三个使用了将换行的日志或异常信息聚合为一个事件，由于默认FileBeat是按行来读取日志，而后传输给LogStash，若是没这个设置，就会形成日志分割为多个事件。
output.logstash就是输出的目标了。
而后直接运行filebeat.exe便可启动。固然也能够以服务方式启动。

filebeat.prospectors:
- input_type: log
  # Paths that should be crawled and fetched. Glob based paths.
  paths:
    #- /var/log/*.log
    - D:\WebLog\*\*.Error.log
  document_type: errorLog
  multiline.pattern: '^\['
  multiline.negate: true
  multiline.match: after
- input_type: log

  # Paths that should be crawled and fetched. Glob based paths.
  paths:
    #- /var/log/*.log
    - D:\WebLog\*\*.Debug.log
  document_type: debugLog

 
#----------------------------- Logstash output --------------------------------
output.logstash:
  # The Logstash hosts
  hosts: ["localhost:5044"]

LogStash配置

在config文件夹添加配置文件first-pipeline.conf。

• input: 指定输入来源
• filter:是指定如何对日志进行处理。这里[type]就是来自filebeat中document_type。而后就是grok语法了。
• overwrite：是将原有message覆盖掉。若是将原有message彻底match出来的话，是能够这样作的，能够节省空间。
• output：就是输出地址了。
• 运行
  bin/logstash -f first-pipeline.conf --config.test_and_exit 测试配置文件
  bin/logstash -f first-pipeline.conf --config.reload.automatic 自动加载配置文件的修改

input {
    beats {
        port => "5044"
    }
}
# The filter part of this file is commented out to indicate that it is
# optional.
filter {
    if [type] == "debugLog" {
        grok {
            match => {
             "message" => "\[(?<datetime>\d{4}-\d{2}-\d{2}\s\d{2}:\d{2}:\d{2},\d{3})\]\s+\[(?<thread>.*)\]\s+(?<level>\w*)\s+(?<appname>\S*)\s+(?<class>\S*)\s+(?<method>\S*)\s+\[(?<message>.*)\]\s*"
             } 
              overwrite => ["message"]
        }
    }
    if [type] == "errorLog" {
        grok {
            match => {
             "message" => "\[(?<datetime>\d{4}-\d{2}-\d{2}\s\d{2}:\d{2}:\d{2},\d{3})\]\s+\[(?<thread>.*)\]\s+(?<level>\w*)\s+(?<appname>\S*)\s+(?<location>\S*)\s+\[(?<message>.*)\]\s*"
             } 
              overwrite => ["message"]
        }
    }
}
output {
    elasticsearch { hosts => ["localhost:9200"] }
    stdout { codec => rubydebug }
}

ElasticSearch配置

默认不须要配置，监听9200端口。直接运行便可

Kibana配置

elasticsearch.url: "http://localhost:9200"
默认链接es地址，若是本机测试无需修改。正式环境中链接到对应服务器就好。
server.port: 5601
监听端口5601，可修改到合适的端口。

而后直接运行就可启动。
初次进入要指定index pattern。通常默认使用以下配置便可。