filebeat+logstash顺序存储日志

Posted 2021-09-07 zhenlq2015

老问题，之前没有上FELK全套组件，只通过filebeat+logstash将java应用日志存储到日志服务器，运维和研发同事通过登录日志服务器，用shell命令进行日志查看，人用的多后，发现日志收集过来后，有些应用的日志会乱序，即时间没有按顺序输出，后一秒的日志放在了前面，这样很影响研发进行排查问题，啰嗦的话不多说，直接解决问题：
经过排查是logstash线程数的问题，因为多线程本身就是无序的，这样日志落地后，就会出现顺序错误的情况，修改配置：
pipeline.workers: 1 （默认是当前主机cpu的逻辑核心数）
问题解决。