玩儿透ELK体系大型日志分析集群方案设计.搭建.调优.管理

实时日志分析做为掌握业务状况、故障分析排查的一个重要手段，目前使用最多最成熟的莫过于ELK方案，总体方案也有各类架构组合，像(Rsyslog/filebeat/...)->Elastic->Kibana、(Rsyslog/filebeat/...)->Redis->Logstash->Elastic->Kibana、(Rsyslog/filebeat/...)->Kafka->Logstash->Elastic->Kibana等等，复杂点的有Spark的引用，再复杂点的引入Hadoop系列。每种方案适合不一样的应用场景，没有优劣之分，我目前用的是Rsyslog->kafka->(Logstash/Spark)->Elastic->Kibana和Rsyslog->Rsyslog中继->Kafka->(Logstash/spark)->Elastic->Kibana方案，中间使用Spark对日志进行再次聚合。

从总体架构进行抽象总结，其实就是采集->清洗->索引->展示四个环节，再去考虑各环节中间缓存、队列的使用，而后每一个环节用不一样的软件工具来实现。下面介绍一下我目前方案集群的搭建和配置。但愿对同行有所帮助，在ELK探索过程当中多谢远川和冯超同窗的奉献交流，经常使用的一个架构图以下：

 .............

浏览所有请点击运维网咖社：玩儿透围绕ELK体系大型日志分析集群方案设计.搭建.调优.管理