请教logstash的多行日志问题，最后一行的日志总是不能获取

Posted 2023-05-05

参考技术A 通常日志管理是逐渐崩溃的——当日志对于人们最重要的时候，也就是出现问题的时候，这个渐进的过程就开始了。日志管理一般会经历一下3个阶段：
初级管理员将通过一些传统工具（如cat、tail、sed、awk、perl以及grep）对日志进行检查，但它的适用范围仅限于少量的主机和日志文件类型；
考虑到现实中的可扩展性问题，日志管理也会逐步进化，使用如rsyslog和syslog-ng这样的工具进行集中化的管理；
当日志信息越来越大的时候，从快速增长的日志数据流中提取出所需的信息，并将其与其他相关联的事件进行关联，将变得越加困难，此时LogStash就提供了一个很好的解决方案本回答被提问者采纳

logstash收集java日志,多行合并成一行

使用codec的multiline插件实现多行匹配，这是一个可以将多行进行合并的插件，而且可以使用what指定将匹配到的行与前面的行合并还是和后面的行合并。
1.java日志收集测试

input {
	stdin {
		codec => multiline {
			pattern => "^\\["						//以"["开头进行正则匹配
			negate => true 							//正则匹配成功
			what => "previous"						//和前面的内容进行合并
		}
	}
}
output {
	stdout {
		codec => rubydebug 
	}
}

2.查看elasticsearch日志,已"["开头

# cat /var/log/elasticsearch/cluster.log 
[2018-05-29T08:00:03,068][INFO ][o.e.c.m.MetaDataCreateIndexService] [node-1] [systemlog-2018.05.29] creating index, cause [auto(bulk api)], templates [], shards [5]/[1], mappings []
[2018-05-29T08:00:03,192][INFO ][o.e.c.m.MetaDataMappingService] [node-1] [systemlog-2018.05.29/DCO-zNOHQL2sgE4lS_Se7g] create_mapping [system]
[2018-05-29T11:29:31,145][INFO ][o.e.c.m.MetaDataCreateIndexService] [node-1] [securelog-2018.05.29] creating index, cause [auto(bulk api)], templates [], shards [5]/[1], mappings []
[2018-05-29T11:29:31,225][INFO ][o.e.c.m.MetaDataMappingService] [node-1] [securelog-2018.05.29/ABd4qrCATYq3YLYUqXe3uA] create_mapping [secure]

3.配置logstash

#vim /etc/logstash/conf.d/java.conf
input {
        file {
                path => "/var/log/elasticsearch/cluster.log"
                type => "elk-java-log"
                start_position => "beginning"
                stat_interval => "2"
                codec => multiline {
                        pattern => "^\\["
                        negate => true
                        what => "previous"
                }
        }
}
output {
        if [type] == "elk-java-log" {
                elasticsearch {
                        hosts => ["192.168.1.31:9200"]
                        index => "elk-java-log-%{+YYYY.MM.dd}"
                }
        }
}

4.启动

logstash -f /etc/logstash/conf.d/java.conf -t
systemctl restart logstash 

5.head插件查看

6.kibana添加日志