ELK v3 logstash收集日志以收集系统日志messages为例

Posted 2021-04-21 菜鸟运维笔记

安装logstash

1、安装jdk

2、安装logstash

a、下载

b、安装

c、配置

问题

安装logstash

logstash安装到192.168.200.129上

1、安装jdk

过程略 之前的文章都有介绍

2、安装logstash

a、下载

wget https://artifacts.elastic.co/downloads/logstash/logstash-6.5.2.rpm

b、安装

rpm -ivh logstash-6.5.2.rpm

c、配置

chown -R logstash:logstash /var/log/logstashchown -R logstash:logstash /var/lib/logstash

这个权限得配置一下，不然启动会报错

编辑配置文件(以收集系统日志/var/log/messages为例)

cd /etc/logstash/conf.dvim syslog.confinput { syslog { type => "system-syslog" port => 10514 }}output { stdout { codec => rubydebug } #elasticsearch { # hosts => ["192.168.200.128:9200"] # index => "system-syslog-%{+YYYY.MM}" } }

这个先做测试，先让他输出到控制台，看看有没有日志，没问题了 ，在放到elasticsearch

然后还得测试一下，这个配置文件有没有什么问题

/usr/share/logstash/bin/logstash --path.settings /etc/logstash -f /etc/logstash/conf.d/syslog.conf --config.test_and_exit

这个会有一个输出结果，只要是OK就行了

需改下系统日志的配置文件 在RULES 下添加这一行

vim /etc/rsyslog.conf#### RULES ####*.* @@192.168.200.129:10514

重启下日志服务

systemctl restart rsyslog

然后启动，这个是前台启动的 有日志输出就OK了  按Ctrl +c 就可以退出了

/usr/share/logstash/bin/logstash --path.settings /etc/logstash -f /etc/logstash/conf.d/syslog.conf

我们把这个停下来退出，修改配置文件，把日志交给elasticsearch

cd /etc/logstash/conf.dvim syslog.confinput { syslog { type => "system-syslog" port => 10514 }}output { #stdout { # codec => rubydebug #} elasticsearch { hosts => ["192.168.200.128:9200"] index => "system-syslog-%{+YYYY.MM}" }}

修改完成了，再测试下配置文件，有没有问题

/usr/share/logstash/bin/logstash --path.settings /etc/logstash -f /etc/logstash/conf.d/syslog.conf --config.test_and_exit

没问题了，我们就可以让logstash以服务启动

systemctl restart logstashsystemctl enable logstash

这个时间有点长，得等下，可以观察一下日志看看有没有报错，还有就是看看端口9600和10514起来没有

tail -f /var/log/logstash/logstash-plain.log

下一步，需要在elasticsearch观察，是否建立了索引。这个也得等下，在192.168.200.128上

curl http://192.168.200.128:9200/_cat/indices?v health status index uuid pri rep docs.count docs.deleted store.size pri.store.sizegreen open system-syslog-2018.12 EnGFb-Z4QrCYUIHyW9Y_lg 5 1 60 0 188.9kb 188.9kbgreen open .kibana_1 pgmBv6e9QOioioNWlJZvgQ 1 0 3 0 16.3kb 16.3kb

ok了  索引建立了 ，然后就可以用kibana去图形化展示

用浏览器打开192.168.200.130:5601

行了 整体完成了

问题

如果收集的日志信息只有当时的日志信息的话，要单独启动logstash配置文件并在后台运行

/usr/share/logstash/bin/logstash --path.settings /etc/logstash -f /etc/logstash/conf.d/syslog.conf &

还有要注意的就是 配置文件只能单独起一个  如果想监控多个日志文件的话 可修改增加配置文件

 - MORE | 往期精彩文章 -