6.3.1版本elk+redis+filebeat收集docker+swarm日志分析

Posted 2020-12-28

最近公司比较忙，没来的及更新博客，今天为大家更新一篇文章，elk+redis+filebeat，这里呢主要使用与中小型公司的日志收集，如果大型公司

可以参考上面的kafka+zookeeper配合elk收集，好了开始往上怼了；

Elk为了防止数据量突然键暴增，吧服务器搞奔溃，这里需要添加一个redis，让数据输入到redis当中，然后在输入到es当中

 

Redis安装：

 

 

#!/bin/bash

# 6379  Redis-Server

tar zxf redis-3.0.0-rc5.tar.gz

yum install gcc-c++ make cmake -y

mkdir /usr/local/redis

mv redis-3.0.0-rc5 /usr/local/src/

cd /usr/local/src/redis-3.0.0-rc5 && make PREFIX=/usr/local/redis install && make install

cp /usr/local/src/redis-3.0.0-rc5/utils/redis_init_script /etc/init.d/redis

mkdir /usr/local/redis/conf

cp /usr/local/src/redis-3.0.0-rc5/redis.conf /usr/local/redis/conf/6379.conf

sed -i 's|CONF="/etc/redis/${REDISPORT}.conf"|CONF="/usr/local/redis/conf/${REDISPORT}.conf"|g' /etc/init.d/redis

sed -i 's|EXEC=/usr/local/bin/redis-server|EXEC=/usr/local/redis/bin/redis-server|g' /etc/init.d/redis

sed -i 's|CLIEXEC=/usr/local/bin/redis-cli|CLIEXEC=/usr/local/redis/bin/redis-cli|g' /etc/init.d/redis

sed -i 's|pidfile /var/run/redis.pid|pidfile /var/run/redis_6379.pid|g'  /usr/local/redis/conf/6379.conf

sed -i 's|dir ./|dir /usr/local/redis/conf|g' /usr/local/redis/conf/6379.conf

/etc/init.d/redis start &

sleep 5

 

 

 

 

 

然后修改点配置

 

然后重新启动服务：

 

 

接下来开始配置filebeat的配置文件：

 

filebeat.prospectors:

- type: log

  enabled: true

  paths:

    - /var/log/docker-nginx/access_json.log

  fields:

    type: 192.168.9.36-nginx

- type: log

  enabled: true

  paths:

    - /var/log/docker-tomcat/catalina.out

  fields:

    type: 192.168.9.36-tomcat

#    include_lines: ['ERROR','WARN']

#    exclude_lines: ['DEBUG']

output.redis:

   enabled: true

   hosts: ["192.168.9.142"]

   port: 6379

   db: 0

   timeout: 6s

   key: "192.168.9.36"

   max_retries: 3

 

 

然后启动：

 

nohup ./filebeat -e -c filebeat.yml > /dev/null &

 

注意如果要测试一下数据有没有进入redis当中，就不要启动logstash，不然会直接从redis当中取走了，所以这里不启动，可以访问一下容器

 

在redis当中查看：

 

 

如果要是启动了logstash那么数据就呗取走了：

 

 

input {

    redis{

    data_type => "list"

       host => "192.168.9.142"

       port => "6379"

       key => "192.168.9.36"

   }

}

 

filter{

 date{

    match=>["logdate","MMM dd HH:mm:ss yyyy"]

    target=>"@timestamp"

    timezone=>"Asia/Shanghai"

}

  ruby{

     code =>"event.timestamp.time.localtime+8*60*60"

}

}

 

output {

 

       elasticsearch {

            hosts => ["http://192.168.9.142:9200"]

           #默认使用[@metadata][beat]来区分不同的索引,也就是filebeat中配置的index字段

           #index => "%{[@metadata][beat]}-%{[@metadata][version]}-%{+YYYY.MM.dd}"

            #我使用自定义fields字段来区分不同的索引

            index => "%{[fields][type]}-%{[@metadata][version]}-%{+YYYY.MM.dd}"

              }

 

 

}

 

 

 

启动可以看到redis中没有数据了

 

其实数据已经到了es当中，在kibana 当中可以显示出来了