logstash快速入门实战指南-Logstash简介

做者其余ELK快速入门系列文章

Elasticsearch从入门到精通

Kibana从入门到精通

Logstash是一个具备实时流水线功能的开源数据收集引擎。Logstash能够动态统一来自不一样来源的数据，并将数据标准化为您选择的目的地。为各类高级下游分析和可视化用例清理和统一化全部数据。

虽然Logstash最初为了推进了日志收集的创新而设计，但其功能远远超出了其以前定义。任何类型的事件均可以经过普遍的输入，过滤和输出插件进行丰富和转换，使用许多本地编解码功能能够进一步简化摄取过程。Logstash经过利用更大的容量和丰富的数据来加速您的洞察力。

Logstash 的力量

用于协助Elasticsearch更好地工做

具备加强Elasticsearch和Kibana协同的水平可伸缩数据处理管道

可插入管道架构

混合、匹配和编排不一样的输入、过滤器和输出，使之在管道中和谐运行

社区可扩展和开发者友好的插件生态系统

超过200个插件，自建和社区贡献

Logstash喜欢数据

Logstash能够接受各类形状和大小的数据，收集更多，以便您能够了解更多。

日志和指标

一切都开始了。

• 处理全部类型的日志记录数据

  • 轻松地摄取大量的Web日志（如Apache）和应用程序日志（如log4j for Java）
  • 捕获许多其余日志格式，如syslog，网络和防火墙日志等
• 使用Filebeat享受互补的安全日志转发功能
• 经过TCP和UDP 从Ganglia，collectd， NetFlow，JMX以及许多其余基础架构和应用程序平台收集指标

网络

来自万维网数据。。。

• 将HTTP请求转换为事件

  • 从Twitter等网络服务消费中获取社交情绪分析
  • Webhook支持GitHub，HipChat，JIRA和无数其余应用程序
  • 启用许多Watcher警报用例

• 经过按需轮询HTTP端点来建立事件

  • 用于从Web应用程序界面捕获运行情况，性能，指标和其余类型的数据
  • 用于轮流控制比接收更受欢迎的场景

数据存储和流

从您已拥有的数据中发现更多价值。

• 经过JDBC接口更好地了解来自任何关系数据库或NoSQL存储的数据
• 统一来自Apache Kafka， RabbitMQ和Amazon SQS等消息队列的各类数据流

传感器和物联网

探索普遍的其余数据。

• 在这个技术进步的时代，大规模物联网世界经过捕获和利用来自链接传感器的数据释放出无尽的可能。
• Logstash是用于提取从移动设备发送到智能家居，联网车辆，医疗保健传感器以及许多其余行业特定应用的数据的常见事件收集主干。

轻松丰富一切

数据越好，知识越好。在摄取期间清理和转换数据，以便在索引或输出时间当即得到近实时洞察。Logstash开箱即用，包含许多聚合和突变，以及模式匹配，地理映射和动态查找功能。

• Grok是Logstash过滤器的基础，它能够无处不在地用于从非结构化数据中获取结构。享受丰富的集成模式，旨在帮助快速解决Web，系统，网络和其余类型的事件格式。
• 经过从IP地址解析地理坐标，规范 日期复杂性，简化键值对和 CSV数据，指纹识别（匿名化）敏感信息，并使用本地查找或Elasticsearch 查询进一步丰富数据，扩展您的视野。
• 编解码器一般用于简化JSON 和多行事件等常见事件结构的处理。