喜闻乐见ELK(日志管理分析系统)

@[TOC]java

#  1. 简介node

    ELK(日志管理分析系统),一款能将系统的日志进行分析处理,而且展现到界面上面。集各类强大功能于一身。妈妈不再用担忧我为查日志感到烦恼了。 ELK核心的组件是由elasticsearch、kibana、logstash组成且不只限于该三个组件。最舒服的就是,该三个组件开源,且封装ok,只须要开箱即用。好了,废话很少说,咱们开始正片。linux

    第一次写博客哈。有些不对的地方你们多多指出,但愿能不吝赐教了哈。 nginx

# 2. 须要的材料以及环境windows

    java8及以上版本(由于logstash最低版本要求为java8)centos

    win10/centos7系统(如下配置基于win10)跨域

    elasticsearch、kibana、logstash(记住,这三个组件下载的时候 版本保持一致)浏览器

    elasticsearch-head(一款浏览器插件,能够不使用,若是不使用能够忽略如下材料)ruby

    nodejs服务器

# 3. 安装以及配置

    当咱们下载好以上三个组件事后,首先解压咱们的三个压缩包

    

    第一步,配置咱们的elasticsearch,进入elasticsearch-7.9.3\config用本身喜好的文本编辑器打开elasticsearch.yml文件

    node.name: node-1

    network.host: 本机ip

    http.port: 9200

    cluster.initial_master_nodes: ["node-1"] #node-1

    --------------------------------------------------------如下配置主要解决后面logstash的跨域问题----------------------------------------------

    http.cors.enabled: true
    http.cors.allow-origin: /.*/
    http.cors.allow-methods: "OPTIONS, HEAD, GET, POST, PUT, DELETE"
    http.cors.allow-headers: "Authorization, X-Requested-With, Content-Type, Content-Length, X-User"


    好了,到这里咱们的elasticsearch就已经配置完成,让咱们运行下,看看效果。

    cd  D:\ELK\elasticsearch-7.9.3\bin   而后  elasticsearch.bat

    或者直接进入bin目录,双击elasticsearch.bat,而后在浏览器中输入:ip:9200,出现如下信息则说明已经es配置成功

    第二步,配置咱们的logstash,进入logstash-7.9.3\config用本身喜好的文本编辑器建立一个新的logstash.config文件,是新的新的新的,里面的内容以下:

    input {
        file {
            type => "nginx_access"
            path => "D:/nginx/nginx-1.18.0/nginx-1.18.0/logs/access.log"  #须要解析的日志,换成你本身的路径
            start_position => "beginning" #从文件开始处读写
        }
        file {
            type => "nginx_access1"
            path => "D:/nginx/nginx-1.18.0/nginx-1.18.0/logs/access1.log"  #须要解析的日志,换成你本身的路径
            start_position => "beginning" #从文件开始处读写
        }
    }
    filter {
        grok {
            match => ["message", "%{TIMESTAMP_ISO8601:times}"]
        }
        date {
            match => ["times", "yyyy-MM-dd HH:mm:ss,SSS"]
            locale => "en"
            timezone => "+00:00"
            remove_field => "times"
            target => "@timestamp"
        }
 
        if[type] == "nginx_access" {
            mutate {
                add_tag => ["nginx_access"]  #设置tag
            }
        }
 
        if [type] == "nginx_access1" {
            mutate {
                add_tag => ["nginx_access1"]  #设置tag
            }
        } 
    }
    output {
        if "nginx_access" in [tags] {  #根据上面的tag来判断输出
            elasticsearch {
                hosts => ["http://es的ip:9200"]  #es的地址
                index => "access-%{+YYYY.MM.dd}"  # 输出的日志名称,好像大写有问题,你们能够试试
            }    
        }
 
        if "nginx_access1" in [tags] {  #根据上面的tag来判断输出
            elasticsearch {
                hosts => ["http://es的ip:9200"] #es的地址
                index => "logaccess1-%{+YYYY.MM.dd}"  # 输出的日志名称,好像大写有问题,你们能够试试
            }    
        }           
        stdout { #标准输出
            codec => rubydebug{}
        }
    }




















































    好了,到这里咱们的logstash就已经配置完成,让咱们运行下,看看效果。

    cd D:\ELK\logstash-7.9.3\bin  而后  logstash.bat -f ../config/logstash.config  。或者你们能够本身把启动语句用一个bat脚本封装起来,到时候只须要执行你那个封装的脚本便可。在控制台出现如下效果,证实启动成功。切记须要java8以上的java版本。

    那若是咱们不少生产环境已经用的java8如下的版本该怎么办呢?用咱们记事本打开logstash的bin目录下的logstash.bat,linux系统打开logstash文件,在文件顶部加上

    export JAVA_CMD="/eam_app/elk/jdk1.8.0_161/bin"  #改成本身服务器JDK位置
    export JAVA_HOME="/eam_app/elk/jdk1.8.0_161/"    #改成本身服务器JDK位置

    最后让咱们来修改下咱们的监听的日志文件,看下logstash控制台有何变化?

    敲黑板敲黑板,这里有个小坑,若是咱们最后一行不留空,那么最后一行的信息是不会输入到咱们的logstash里面的。为何会这样的, 留个小伙伴们一个小疑问,本身去想一想。

    第三步,配置咱们的kibana,进入kibana-7.9.3\config用本身喜好的文本编辑器打开kibana.yml文件,

    server.port: 5601   #端口

    server.host: IP地址

    elasticsearch.hosts: ["http://es的ip地址:9200"]

    保存,至此咱们的kibana就配置完成了,是否是很简单,哦呵呵呵!!!!

    赶忙运行起来,老规矩:

    cd D:\ELK\kibana-7.9.3-windows-x86_64\bin  而后  kibana.bat  或者本身手动双击kibana.bat,最后在咱们的浏览器中输入kibana.yml中的server.host:server.port

    点击上面的进行如下操做

    最后咱们点击界面左上角

    会出现如下界面,这是个时候咱们的日志就已经展现出来了,以下图:

    至此为止咱们的windows环境EKL日志监控分析系统就已经搭建完成

# 4. 总结

    我的以为ELK仍是比较好用的,摆脱咱们去服务器拉日志查日志的苦恼,固然可能小伙伴有其余更好的方式,我这里只是列举了一个例子,但愿能抛砖引玉了哈。感谢各位大大的阅读支持!!!

    码字不易,如需转载请标明转处。  

相关文章
相关标签/搜索