elasticsearch重复采集问题

Posted 2020-10-28

公司刚上elk，filebeat----logstash----elasticsearch 这种架构，目前nginx每天日志量不到100w,所以没有添加消息队列。 进行测试的时候发现：每次重启logstash或者elasticsearch（模拟异常或者停机维护）,日志会有重复采集的情况。脚本测试每秒写入1000条日志到一个文件（filebeat进行采集），持续时间120s;测试了3-4次，每次重启logstash或者elasticsearch，日志总条数都大于120000，基本都会多上千条。 查询官网文档后给出了一个解决方法：用户自定义文档id,如果索引中无相同id的文档，执行insert；有相同id文档，则执行update 1，nginx做如下修改，nginx 日志json格式增加 "request_id":"$request_id" #nginx版本大于1.11.0 2， logstash output { elasticsearch { hosts => "example.com" document_id => "%{request_id}" } }

参考文献：https://www.jianshu.com/p/5e103e1eb017
参考文献：https://www.elastic.co/blog/logstash-lessons-handling-duplicates