用Kibana和logstash快速搭建实时日志查询、收集与分析系统

时间 2019-11-30

标签 kibana logstash 快速搭建实时日志查询收集分析系统栏目日志分析繁體版

原文原文链接

日志的分析和监控在系统开发中占很是重要的地位，系统越复杂，日志的分析和监控就越重要，常见的需求有:html

· 根据关键字查询日志详情java

· 监控系统的运行情况ios

· 统计分析，好比接口的调用次数、执行时间、成功率等git

· 异常数据自动触发消息通知github

· 基于日志的数据挖掘web

不少团队在日志方面可能遇到的一些问题有:redis

· 开发人员不能登陆线上服务器查看详细日志，通过运维周转费时费力json

· 日志数据分散在多个系统，难以查找vim

· 日志数据量大，查询速度慢api

· 一个调用会涉及多个系统，难以在这些系统的日志中快速定位数据

· 数据不够实时

常见的一些重量级的开源Trace系统有

· facebook scribe

· cloudera flume

· twitter zipkin

· storm

这些项目功能强大，但对于不少团队来讲过于复杂，配置和部署比较麻烦，在系统规模大到必定程度前推荐轻量级下载即用的方案，好比logstash+elasticsearch+kibana(LEK)组合。

对于日志来讲，最多见的需求就是收集、查询、显示，正对应logstash、elasticsearch、kibana的功能。

logstash

logstash主页

logstash部署简单，下载一个jar就能够用了，对日志的处理逻辑也很简单，就是一个pipeline的过程

inputs >> codecs >> filters >> outputs

对应的插件有

从上面能够看到logstash支持常见的日志类型，与其余监控系统的整合也很方便，能够将数据输出到zabbix、nagios、email等。

推荐用redis做为输入缓冲队列。

你还能够把数据统计后输出到graphite，实现统计数据的可视化显示。

metrics demo
statsd
graphite

参考文档

· cookbook

· doc

· demo

elasticsearch

elasticsearch主页

elasticsearch是基于lucene的开源搜索引擎，近年来发展比较快，主要的特色有

· real time

· distributed

· high availability

· document oriented

· schema free

· restful api

elasticsearch的详细介绍之后再写，经常使用的一些资源以下

中文

smartcn, ES默认的中文分词
https://github.com/elasticsearch/elasticsearch-analysis-smartcn

mmseg
https://github.com/medcl/elasticsearch-analysis-mmseg

ik
https://github.com/medcl/elasticsearch-analysis-ik

pinyin, 拼音分词，可用于输入拼音提示中文
https://github.com/medcl/elasticsearch-analysis-pinyin

stconvert, 中文简繁体互换
https://github.com/medcl/elasticsearch-analysis-stconvert

经常使用插件

elasticsearch-servicewrapper，用Java Service Wrapper对elasticsearch作的一个封装
https://github.com/elasticsearch/elasticsearch-servicewrapper

Elastic HQ，elasticsearch的监控工具
http://www.elastichq.org

elasticsearch-rtf，针对中文集成了相关插件(rtf = Ready To Fly)
https://github.com/medcl/elasticsearch-rtf
做者主页

kibana

kibana主页

kibana是一个功能强大的elasticsearch数据显示客户端，logstash已经内置了kibana，你也能够单独部署kibana，最新版的kibana3是纯html+js客户端，能够很方便的部署到Apache、Nginx等Http服务器。

kibana3的地址: https://github.com/elasticsearch/kibana
kibana2的地址: https://github.com/rashidkpc/Kibana
kibana3 demo地址: http://demo.kibana.org

从demo能够先看一下kibana的一些基本功能

图表

数据表格，能够自定义哪些列显示以及显示顺序

能够看到实际执行的查询语句

新加一行

新加panel，能够看到支持的panel类型

加一个饼图

用地图显示统计结果

按照http response code来统计

丰富的查询语法

安装部署

下面列一下一个简易LEK体验环境的搭建步骤

安装jdk 1.7

oracle java主页

省略安装过程，推荐1.7+版本

java -version

设置java的环境变量，好比

sudo vim ~/.bashrc

export JAVA_HOME=/usr/lib/jvm/java-7-oracle

export JRE_HOME=${JAVA_HOME}/jre

export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib

export PATH=${JAVA_HOME}/bin:$PATH

source ~/.bashrc

安装redis

redis主页

cd ~/src

wget http://download.redis.io/releases/redis-2.6.16.tar.gz

tar -zxf redis-2.6.16.tar.gz

cd redis-2.6.16

make

sudo make install

能够经过redis源代码里utils/install_server下的脚本简化配置工做

cd utils

sudo ./install_server.sh

install_server.sh在问你几个问题后会把redis安装为开机启动的服务，能够经过下面的命令行来启动/中止服务

sudo /etc/init.d/redis_ start/end

启动redis客户端来验证安装

redis-cli

> keys *

安装Elasticsearch

Elasticsearch主页

cd /search

sudo mkdir elasticsearch

cd elasticsearch

sudo wget http://download.elasticsearch.org/elasticsearch/elasticsearch/elasticsearch-0.90.5.zip

sudo unzip elasticsearch-0.90.5.zip

elasticsearch解压便可使用很是方便，接下来咱们看一下效果，首先启动ES服务，切换到elasticsearch目录，运行bin下的elasticsearch

cd /search/elasticsearch/elasticsearch-0.90.5

bin/elasticsearch -f

访问默认的9200端口

curl -X GET http://localhost:9200

安装logstash

logstash主页

cd /search

sudo mkdir logstash

cd logstash

sudo wget http://download.elasticsearch.org/logstash/logstash/logstash-1.2.1-flatjar.jar

logstash下载便可使用，命令行参数能够参考logstash flags，主要有

agent #运行Agent模式

-f CONFIGFILE #指定配置文件

web #自动Web服务

-p PORT #指定端口，默认9292

安装kibana

logstash的最新版已经内置kibana，你也能够单独部署kibana。kibana3是纯粹JavaScript+html的客户端，因此能够部署到任意http服务器上。

cd /search

sudo mkdir kibana

sudo wget http://download.elasticsearch.org/kibana/kibana/kibana-latest.zip

sudo unzip kibana-latest.zip

sudo cp -r kibana-latest /var/www/html

能够修改config.js来配置elasticsearch的地址和索引。

用浏览器访问试试看 http://127.0.0.1/html/kibana-latest/index.html

集成

把上面的系统集成起来

首先把redis和elasticsearch都启动起来

为logstash新建一个配置文件

cd /search/logstash

sudo vi redis.conf

配置文件内容以下

input {

redis {

host => "127.0.0.1"

port => "6379"

key => "logstash:demo"

data_type => "list"

codec => "json"

type => "logstash-redis-demo"

tags => ["logstashdemo"]

}

output {

elasticsearch {

host => "127.0.0.1"

}

用这个配置文件启动logstash agent

java -jar /search/logstash/logstash-1.2.1-flatjar.jar agent -f /search/logstash/redis.conf &

启动logstash内置的web

java -jar /search/logstash/logstash-1.2.1-flatjar.jar web &

查看web，应该尚未数据

http://127.0.0.1:9292

在redis 加一条数据

RPUSH logstash:demo "{\"time\": \"2013-01-01T01:23:55\", \"message\": \"logstash demo message\"}"

看看elasticsearch中的索引现状

curl 127.0.0.1:9200/_search?pretty=true

curl -s http://127.0.0.1:9200/_status?pretty=true | grep logstash

再经过logstash web查询一下看看

http://127.0.0.1:9292

经过单独的kibana界面查看

http://127.0.0.1/html/kibana-latest/index.html#/dashboard/file/logstash.json

数据清理

logstash默认按天建立ES索引，这样的好处是删除历史数据时直接删掉整个索引就能够了，方便快速。

elasticsearch也能够设置每一个文档的ttl(time to live)，至关于设置文档的过时时间，但相比删除整个索引要耗费更多的IO操做。

索引

elasticsearch默认会按照分隔符对字段拆分，日志有些字段不要分词，好比url，能够为这类字段设置not_analyzed属性。

设置multi-field-type属性能够将字段映射到其余类型。multi-field-type。

大量日志导入时用bulk方式。

对于日志查询来讲，filter比query更快过滤器里不会执行评分并且能够被自动缓存。query-dsl。

elasticsearch默认一个索引操做会在全部分片都完成对文档的索引后才返回，你能够把复制设置为异步来加快批量日志的导入。

elasticsearch 优化

优化JVM
优化系统能够打开最大文件描述符的数量
适当增长索引刷新的间隔

最佳实践

· 首先你的程序要写日志

· 记录的日志要能帮助你分析问题，只记录"参数错误"这样的日志对解决问题毫无帮助

· 不要依赖异常，异常只处理你没考虑到的地方

· 要记录一些关键的参数，好比发生时间、执行时间、日志来源、输入参数、输出参数、错误码、异常堆栈信息等

· 要记录sessionid、transitionid、userid等帮你快速定位以及能把各个系统的日志串联起来的关键参数

· 推荐纯文本+json格式

· 使用队列

其余日志辅助工具

· rsyslog

· syslog-ng

· graylog

· fluentd

· nxlog

标签: logstash, elasticsearch, kibana, log

若是须要更多技术性文章，能够浏览马哥教育官网，天天都会有大量的优质内容与你们分享欧！