elk6.3.1+zookeeper+kafka+filebeat收集dockerswarm容器日志

Posted 2020-12-27

前面有说过使用redis来缓解elk的数据接受压力，但是呢，如果redis面对突发情况也会承受不住的，这里需要借助两个工具，zookeeper和kafka

Zookeeper主要值借助分布式锁，保证事务的不变，原子性隔离性。。。

Kafka消息队列，从生产这到filebeta再到消费这logstash接受到es中，起到缓存，减缓压力

 

来吧开始往上怼了

 

首先下载zookeeper和卡夫卡

wget http://mirrors.hust.edu.cn/apache/zookeeper/zookeeper-3.4.10/zookeeper-3.4.10.tar.gz

 

wget http://mirror.bit.edu.cn/apache/kafka/1.1.0/kafka_2.12-1.1.0.tgz

 

 

这里需要注意我是单台服务器安装的，要添加hosts

 

这里zookeeper和卡夫卡的安装可以参考文档：

http://www.cnblogs.com/saneri/p/8822116.html

只需要zookeeper和kafka参考就行了，注意修改ip和hostname

 

完成后验证：

 

 

Zookeeper+Kafka集群测试

创建topic：

显示topic：

 

 

行了这个成功之后开始配置filebeat，这里换是收集dockerswarm集群的tomat和nginx容器的日志

 

 

filebeat.prospectors:

- type: log

  enabled: true

  paths:

    - /var/log/docker-nginx/access_json.log

  fields:

    log_topics: 192.168.9.36-nginx

- type: log

  enabled: true

  paths:

    - /var/log/docker-tomcat/catalina.out

  fields:

    log_topics: 192.168.9.36-tomcat

#    include_lines: ['ERROR','WARN']

#    exclude_lines: ['DEBUG']

output.kafka:

   enabled: true

   hosts: ["node1:9092"]

   topic: '%{[fields][log_topics]}'

   partition.hash:

     reachable_only: true

     compression: gzip

     max_message_bytes: 1000000

     required_acks: 1

 

 

 

接下来配置logstash

input {

    kafka{

       bootstrap_servers => "node1:9092"

       topics => ["192.168.9.36-nginx","192.168.9.36-tomcat"]

       codec => "json"

       consumer_threads => 1

       decorate_events => true

       auto_offset_reset => "latest"

   }

}

 

filter{

 date{

    match=>["logdate","MMM dd HH:mm:ss yyyy"]

    target=>"@timestamp"

    timezone=>"Asia/Shanghai"

}

  ruby{

     code =>"event.timestamp.time.localtime+8*60*60"

}

}

 

output {

     if [fields][log_topics] == "192.168.9.36-nginx" {

       elasticsearch {

            hosts => ["http://192.168.9.142:9200"]

            index => "192.168.9.36-nginx-%{[@metadata][version]}-%{+YYYY.MM.dd}"

              }

 

  }

 

 

   if [fields][log_topics] == "192.168.9.36-tomcat" {

       elasticsearch {

            hosts => ["http://192.168.9.142:9200"]

            index => "192.168.9.36-tomcat-%{[@metadata][version]}-%{+YYYY.MM.dd}"

              }

 

  }

 

}

 

 

完成后启动，然后测试一下

 

 

去查看一下