ELK日志

前提：处理大数据日志收集分析，随着搜索集群的快速膨胀，大量日志处理及状况反馈滞后带来一系列问题，亟需一个工具能快速分析定位集群中那种日志或那个机器出现了异常。运维的日志分析系统定制化较重，分析不够实时。故找一个RTF工具能够直接即上手。

一、简介：

logstash日志收集分发到elastic集群，elasticsearch进行数据索引，kibana进行结构化查询展现，redis作缓存队列。

二、安装：

logstash，新版下载便可用，需加配置文件agent.conf和index.conf，固然最好途径是官网sample即得即用。

网址：http://logstash.net/

elasticsearch，下载新版，有个wrapping下载解压到bin/servic目录便可使用，中文版须要下载rtf版本或安装插件。

网址：附上高人git://github.com/medcl/elasticsearch-rtf.git 的集成版，or官网

kibana，查询结果图形展现分析

Visit Elasticsearch.org for the full Kibana documentation.无须多说，这句就够了。

三、配置：

logstash，经过agent方式收集到中心服务，并经过index doc方式发送数据给elasticsearch，故能够配置多个一对一日志收集或多c到s的日志收集模式，即客户端到服务端收集模式

Logstash + Elasticsearch + Kibana+Redis+Syslog-ng

ElasticSearch是一个基于Lucene构建的开源，分布式，RESTful搜索引擎。设计用于云计算中，可以达到实时搜索，稳定，可靠，快速，安装使用方便。支持经过HTTP使用JSON进行数据索引。

logstash是一个应用程序日志、事件的传输、处理、管理和搜索的平台。你能够用它来统一对应用程序日志进行收集管理，提供 Web 接口用于查询和统计。其实logstash是能够被别的替换，好比常见的fluented

Kibana是一个为 Logstash 和 ElasticSearch 提供的日志分析的 Web 接口。可以使用它对日志进行高效的搜索、可视化、分析等各类操做。

Redis是一个高性能的内存key-value数据库,非必需安装,能够防止数据丢失.

http://my.oschina.net/HeAlvin/blog/378257