Logstash和Flume-NG Syslog接收小测试

目前在大规模日志处理平台中常见的日志采集器能够采用Logstash或Flume。这两种日志采集器架构设计理念基本类似，都采用采集-过滤处理-输出的方式。下面对这两种采集器Syslog接收性能作个简单测试，供你们参考。

•  测试过程

基本测试过程是使用2台机器，1台负责发送Syslog数据包，一台采集器。

在采集器上分别安装ELK套件和Apache Flume 1.8.0软件。

Logstash采集配置以下：

input {

  udp {

   host => "0.0.0.0"

   port => "514"

   type => "syslog"

   codec => plain { charset => "UTF-8" }

  }

}

output {

  elasticsearch { 

      hosts => ["10.0.190.109:9200"] 

      document_type => "syslog"

  }

}

Flume-NG采集配置以下：

a1.sources = r1

a1.sinks = k1

a1.channels = c1

 

# Describe/configure the source

a1.sources.r1.type = syslogudp

a1.sources.r1.port = 5140

a1.sources.r1.host = 10.0.190.109

a1.sources.r1.channels = c1

 

# Describe the sink

a1.sinks.k1.type = file_roll

a1.sinks.k1.channel = c1

a1.sinks.k1.sink.directory = /opt/flumelog

 

 

# Use a channel which buffers events in memory

a1.channels.c1.type = memory

a1.channels.c1.capacity = 1000

a1.channels.c1.transactionCapacity = 100

 

# Bind the source and sink to the channel

a1.sources.r1.channels = c1

a1.sinks.k1.channel = c1

 

重点来了，从测试机连续发送Syslog数据包，连续发送1000次，屡次验证测试结果能够发现：

ELK中能够基本接收到1000条。

Flume能够接收到并写入本地文件200到350条之间。上述二者差异主要在于Logstash接收并写入ES中，Flume接收并写入本地文件（写入ES太麻烦，Flume的ES Sink模块不兼容最新的ES版本）。

可是把配置中a1.sources.r1.type = syslogudp改为a1.sources.r1.type = syslogtcp，在测试机发送tcp格式的syslog数据包基本能够收到1000条。

以上只是个小小的测试，供你们参考。