Logstash和Flume-NG Syslog接收小测试

Posted 2021-01-16 wishma

目前在大规模日志处理平台中常见的日志采集器可以采用Logstash或Flume。这两种日志采集器架构设计理念基本相似，都采用采集-过滤处理-输出的方式。下面对这两种采集器Syslog接收性能做个简单测试，供大家参考。

•  测试过程

基本测试过程是使用2台机器，1台负责发送Syslog数据包，一台采集器。

在采集器上分别安装ELK套件和Apache Flume 1.8.0软件。

Logstash采集配置如下：

input {

  udp {

   host => "0.0.0.0"

   port => "514"

   type => "syslog"

   codec => plain { charset => "UTF-8" }

  }

}

output {

  elasticsearch { 

      hosts => ["10.0.190.109:9200"] 

      document_type => "syslog"

  }

}

Flume-NG采集配置如下：

a1.sources = r1

a1.sinks = k1

a1.channels = c1

 

# Describe/configure the source

a1.sources.r1.type = syslogudp

a1.sources.r1.port = 5140

a1.sources.r1.host = 10.0.190.109

a1.sources.r1.channels = c1

 

# Describe the sink

a1.sinks.k1.type = file_roll

a1.sinks.k1.channel = c1

a1.sinks.k1.sink.directory = /opt/flumelog

 

 

# Use a channel which buffers events in memory

a1.channels.c1.type = memory

a1.channels.c1.capacity = 1000

a1.channels.c1.transactionCapacity = 100

 

# Bind the source and sink to the channel

a1.sources.r1.channels = c1

a1.sinks.k1.channel = c1

 

重点来了，从测试机连续发送Syslog数据包，连续发送1000次，多次验证测试结果可以发现：

ELK中可以基本接收到1000条。

Flume可以接收到并写入本地文件200到350条之间。上述两者差别主要在于Logstash接收并写入ES中，Flume接收并写入本地文件（写入ES太麻烦，Flume的ES Sink模块不兼容最新的ES版本）。

但是把配置中a1.sources.r1.type = syslogudp改成a1.sources.r1.type = syslogtcp，在测试机发送tcp格式的syslog数据包基本可以收到1000条。

以上只是个小小的测试，供大家参考。