ELK之Logstash简单介绍

1、Logstash简介

一、官网地址

  https://www.elastic.co/products/logstash

二、软件介绍

  官方介绍：Logstash is an open source data collection engine with real-time pipelining capabilities。简单来讲logstash就是一根具有实时数据传输能力的管道，负责将数据信息从管道的输入端传输到管道的输出端；与此同时这根管道还可让你根据本身的需求在中间加上滤网，Logstash提供里不少功能强大的滤网以知足你的各类应用场景。

  Logstash经常使用于日志关系系统中作日志采集的设备； 

三、系统结构

  Logstash的事件（logstash将数据流中等每一条数据称之为一个event）处理流水线有三个主要角色完成：inputs –> filters –> outputs：

• inpust：必须，负责产生事件（Inputs generate events），经常使用：File、syslog、redis、beats（如：Filebeats）
• filters：可选，负责数据处理与转换（filters modify them），经常使用：grok、mutate、drop、clone、geoip

• outpus：必须，负责数据输出（outputs ship them elsewhere），经常使用：elasticsearch、file、graphite、statsd

    其中inputs和outputs支持codecs（coder&decoder）在1.3.0 版以前，logstash 只支持纯文本形式输入，而后以过滤器处理它。但如今，咱们能够在输入 期处理不一样类型的数据，因此完整的数据流程应该是：input | decode | filter | encode | output；codec 的引入，使得 logstash 能够更好更方便的与其余有自定义数据格式的运维产品共存，好比：graphite、fluent、netflow、collectd，以及使用 msgpack、json、edn 等通用数据格式的其余产品等  

四、应用场景

  Logstash最经常使用于ELK（elasticsearch + logstash + kibane）中做为日志收集器使用

这三个并不是该管理系统的所有组
成，并且还能够添加Redis,kafka,filebeat等软件
它们各自的功能大概能够这样概述：

• E：实时分析、实时检索、海量存储，创建索引，以便往后快速查看、搜索、分析
• L：数据流传输、日志结构化
• K：分析统计、酷炫图表

传统的日志架构存在的如下若干缺点：

• 开发人员无权登陆，通过运维周转费时费力
• 日志数据分散在多个系统，难以查找
• 日志数据量大，查询速度慢
• 一个调用会涉及多个系统，难以在这些系统的日志中快速定位数据
• 数据不够实时
• 应用