Logstash+Redis+Elasticsearch+Kibana+Nginx搭建日志分析系统

前言：
随着实时分析技术的发展及成本的下降，用户已经不只仅知足于离线分析。目前咱们服务的用户包括微博、微盘、云存储、弹性计算平台等十多个部门的多个产品的日志搜索分析业务，天天处理约32亿条（2TB）日志。哈哈 以上都是新浪的信息~不是咱们小公司的分析业务规模。


固然为了使得运行在客户端的软件有良好的体验，而且获得有用的数据，咱们须要对这些系统产生的数据，进行统计和分析，这个过程一般包括数据采集，清洗，建模，分析，报表等。接下来在本篇文章中，将会构建一个基于logstash,redis,elasticSearch,kibana的一套数据收集分析的系统。
平台架构：
 


        nginx做为前端服务器 生成业日志，logstash实时的从业务日志中数据数据（能够进行响应的过滤，一个Logstash进程能够有多个输入源，因此一个Logstash进程能够应付一台服务器上的全部日志），而后把数据输入到redis中，redis只作消息队列不对消息作处理和存储(Redis是Logstash官方推荐的Broker角色“人选”，支持订阅发布和队列两种数据传输模式)，而后redis会把数据转给elasticSearch(同时能够对错误信息进行过滤 发送邮件提醒)，elasticSearch会对数据作存储，索引（基于Lunce），再kibana中创建对elasticSearch的连接，实时的抓取索索引后的数据，这样数据就能够实时的进行展现，经过一些数据组装，查询条件，获得咱们想要的结果（能够经过各类方式例如图表，表格，折线图等显示）

效果展现：
 

再看一下之前咱们是如何查看日志的：

• 线上日志逐个tail+grep

• 编写脚本，下载某个时间范围内的所有日志到本地再搜索

tail+grep或者把日志下载下来再搜索，能够应付很少的主机和很少的应用部署场景。但对于多机多应用部署就不合适了。这里的多机多应用指的是同一种应用被部署到几台服务器上，每台服务器上又部署着不一样的多个应用。能够想象，这种场景下，为了监控或者搜索某段日志，须要登录多台服务器，执行多个tail -F和grep命令。一方面这很被动。另外一方面，效率很是低，数次操做下来，你心情也会变糟。是否是看的眼花料哦乱~

 

 

系统版本 阿里云 centos 6.5 64位
软件版本 (版本更新频繁而且各个软件之间兼容性有问题，主要是elk之间的，经测试一下版本可使用)
logstash-2.1.1，elasticsearch-2.1.0，redis-2.8.4，kibana-4.3.1-linux-x64
1、安装logstash
linux下 直接  wget  https://download.elastic.co/logs ... gstash-2.1.1.tar.gz
而后解压 tar -zxvf logstash-2.1.1.tar.gz 便可。


2、安装elasticsearch
linux下安装elasticsearch ：http://www.52itstyle.com/thread-20114-1-1.html


3、安装 redis
linux下redis安装和使用：http://www.52itstyle.com/thread-20084-1-1.html


4、安装kibana
linux下安装kibana：http://www.52itstyle.com/thread-20127-1-1.html


以上软件 启动方式见连接。


这里主要说一下 如何收集Tomcat异常日志：
1、好比咱们的日志 放在tomcat/log目录下 异常日志格式为
52itstyle_error.2016-03-01.txt #异常信息
2、编写logstash  shipper 收集日志信息

 

 

input {
    file {
        type => "tomcat_itstyle"
        tags => [ "tomcat_error", "log4j" ]
        path => "/tomcat7/log/*error*.txt"
    }
}
filter {
    if [type] == "tomcat_itstyle" {
        grok {
            match => { 
               "message" => "(?m)%{TIMESTAMP_ISO8601:logtime}"
            }
        }
        multiline {
                      pattern => "^[^\[]"
                      what => "previous"
                  }
        mutate {
            split => ["message", "|"]
        }
    }
}
output {
    stdout {
            codec => rubydebug 
        }
    redis {
        host => "127.0.0.1"
        port => 6379
        data_type => "list"
        key => "logstash-tomcat-error"
        password => "123456"
        db => 0
    }
}

2、编写logstash  indexer整理日志信息

input {
        redis {
                host => "127.0.0.1"
                port => 6379
                data_type => "list"
                key => "logstash-tomcat-error"
                type => "redis-input"
                password => "123456"
                db => 0
        }
}
output {
        elasticsearch {        
               hosts => ["127.0.0.1:9200"] 
        }
        exec {
              #发送错误日志 到指定邮件
              command => "echo '%{@timestamp} %{type}: %{message}' | mail -s tomcat_error_message 345849402@qq.com"
        }
}

分别启动 indexer 和 shipper 
切换到 logstash/bin 下执行一下命令
./logstash -f  indexer.conf &
./logstash -f  shipper .conf &