通过kafka和filebeat收集日志 再保存到clickhouse 最后通过grafana展现

Posted 2023-03-02 独杆小蓬

日志就是一个大数据库 

使用到

golang

clickhouse kafka filebeat grafana 

filebeat

filebeat是通过docker部署的,把要收集的日志目录持到容器中,filebeat自动读取文件并送到kafka中去.日志格式为json.filebeat按行读取

通过docker-compose部署filebeat 文件如下

# filebeat的docker-compose文件
version: \'3\'
services:
  myFileBeat:
    image: elastic/filebeat:8.3.3
    restart: always
    container_name: filebeat01
    hostname: filebeat01
    user: root
    environment:
      - TZ=Asia/Shanghai
    volumes:
      - $PWD/data_lib:/var/lib/filebeat:rw #存放日志文件读取偏移量
      - $PWD/data_data:/usr/share/filebeat/data:rw #存放日志文件读取偏移量
      - $PWD/data_logs:/usr/share/filebeat/logs:rw #存放filebeat本身的日志
      - $PWD/filebeat.yml:/usr/share/filebeat/filebeat.yml:ro #filebeat配置文件
      - $PWD/crts:/crts:ro #连接kafaka使用的证书
      - /opt/appName