Logstash 参考指南（Logstash介绍）

Logstash介绍

Logstash是一个具备实时管道功能的开源数据收集引擎，Logstash能够动态地未来自不一样数据源的数据统一块儿来，并将数据规范化为你选择的目的地，清理和大众化你的全部数据，用于各类高级下游分析和可视化用例。

虽然Logstash最初推进了日志收集方面的创新，可是它的功能远远超出了这个用例，任何类型的事件均可以经过大量的输入、过滤器和输出插件来丰富和转换，使用许多原生编解码能够进一步简化摄取过程。Logstash经过利用大量和多种数据来提升你的洞察力。

Logstash的力量

用于Elasticsearch和更多的镊取工做

具备加强Elasticsearch和Kibana协同的水平可伸缩数据处理管道

可插入管道架构

混合、匹配和编排不一样的输入、过滤器和输出，使之在管道中和谐运行

社区可扩展和开发者友好的插件生态系统

超过200个插件，加上建立和贡献你本身的灵活性

Logstash喜欢数据

收集更多，这样你就能知道更多，Logstash欢迎各类形式和大小的数据。

日志和指标

这里是一切开始的地方

• 处理全部类型的日志数据

  • 很容易摄取大量的web日志（如Apache）和应用程序日志（如Java的log4j）
  • 捕获许多其余日志格式，如syslog、网络和防火墙日志等等
• 使用Filebeat享受互补的安全日志转发功能
• 从Ganglia、collectd、NetFlow、JMX收集指标，和许多其余基础设施，以及TCP和UDP上的应用程序平台

网络

解锁万维网

• 将HTTP请求转换为事件

  • 使用像Twitter这样的web服务防火墙进行社交情绪分析
  • 对GitHub、HipChat、JIRA和无数其余应用程序的Webhook支持
  • 支持许多监控用例

• 根据须要经过轮询HTTP端点建立事件

  • 广泛地从web应用程序接口捕获健康、性能、指标和其余类型的数据
  • 更适合于轮询控制而不是接收的场景

数据存储和流

从你已经拥有的数据中发现更多的价值。

• 更好地理解来自任何关系数据库或具备JDBC接口的NoSQL存储的数据
• 统一不一样的数据流，如Apache Kafka、RabbitMQ和Amazon SQS

传感器和物联网

探索其余数据的广度

• 在这个技术进步的时代，庞大的物联网世界经过捕获和利用链接传感器的数据，释放出无穷无尽的用例
• Logstash是一个常见的事件收集主干，用于从移动设备发送数据到智能住宅、链接的车辆、医疗传感器和许多其余行业特定的应用程序

轻松充实一切

数据越好，知识就越好，在摄取数据时进行清理和转换，以便在索引或输出时当即得到接近实时的信息，Logstash具备许多聚合和变体，以及模式匹配、geo映射和动态查找功能。

• Grok是Logstash过滤器的基础，它被普遍地用于从非结构化数据派生结构，享受大量集成模式，以帮助快速解决web、系统、网络和其余类型的事件格式。
• 经过破译IP地址的地理坐标来扩展你的视野，规格化时间复杂性，简化键值对和CSV数据，指纹（匿名）敏感信息，并经过本地查找或Elasticsearch查询进一步丰富你的数据。
• Codecs一般用于简化处理像JSON和多行事件这样的公共事件结构。

请参阅转换数据，以了解一些流行的数据处理插件的概述。

选择你的存储

将数据路由到最重要的地方，经过存储、分析和对数据采起行为，解锁各类下游分析和操做用例。

分析

• Elasticsearch
• 数据存储，如MongoDB和Riak

归档

• HDFS
• S3

监控

• Nagios
• Ganglia
• Zabbix
• Graphite
• Datadog
• CloudWatch

提醒

• 使用Elasticsearch Watcher
• Email
• Pagerduty
• IRC
• SNS