logstash+kafka

Posted 2023-03-29

参考技术A 线上项目的日志在整个系统中的重要性不言而喻，以往日志往往成为发现错误用来查看错误信息的工具，但是这其实时间相对滞后了，如果能比使用者更早发现问题，就能更好的应对了，这次我们介绍使用lostash+kafka来监控错误日志发送邮件的功能。

把准备好的包上传到服务器上，这里我放在 /usr/local 文件夹下，准备工作做好下面我们开始部署环境了~

在生产者窗口输入经典的hello world,在消费者窗口马上出现，这里就说明ok了！

logstash比较简单，不需要配置

至此，logstash+kafka的配置已经结束，后面只需要将日志输入logtsash，使用应用接收kafka消息来发送错误邮件，这些后面再介绍~~

Logstash之四：logstash接收kafka数据

3、kafka+logstash整合
logstash1.5以后已经集成了对kafka的支持扩展，可以在conf配置中直接使用

vim /etc/logstash/conf.d/pay.conf

input {
kafka{
zk_connect => "your zookeeper address:2181"
group_id => "logstash"
topic_id => "pay-replicated"
reset_beginning => false
consumer_threads => 5
decorate_events => true
}
}
output {
# stdout{ codec=> rubydebug }
redis {
host => ["your redis address:6380"]
batch => true
key => "logstash-nginx-pay-replicated"
data_type => "list"
}
}

重启logstash
service logstash restart