ELK docker 安装logstash

Posted 2020-11-27 a393060727

logstash 是什么。

个人理解。就3个东西 输入input，输出output，过滤转换filter。

其中input可有有多种类型来源：beat网络传入，jdbc数据库查询来源，file来源文件。

什么时候用什么场景用。

因为logstash内存、cpu消耗非常大。所以每个机器上安装它去采集信息不合理。而可以结合其他的数据源轻便的，比如mq队列kafka、文件采集filebeat。

beat：通过端口传入信息。很多个多点都往同一个logstash中传输。比如分布式日志采集的时候，用filebeat。

jdbc：我们需要从数据库中定时查询出某些数据，放入其他的存储库中，比如文件，nosql库，es库等。。一般用于搜索引擎数据同步

file：采集本机文件入库。。。比如某些订单，某些日志。。。

Logstash 下载安装。

运行之前，需要准备好挂载目录中的内容上传到宿主机中：

配置文件logstash.yml

# 配置文件都在目录 conf.d/*.conf中，意味着，所有.conf结尾的都是配置文件，都会执行

path.config: /usr/share/logstash/conf.d/*.conf

# 指定日志目录

path.logs: /usr/share/logs

 

conf.d/*.conf 放了些什么东西。。
我这里放两个文件，
1是 filebeat.conf，采集文件的文件规则

input {
    beats {
        port => 5044
        codec => "json"
    }
}

filter {
    date {
       match => [ "@timestamp" , "yyyy/MM/dd:HH:mm:ss Z" ]
    }
    mutate { 
        remove_field => ["host","ecs","json","agent","input","log","@version","tags"]
    }
}

output {
  elasticsearch { 
    hosts => ["www.baidu.com:9200","www.baidu.com:9201"]
    user => "elastic"
    password => "elastic"
    index => "%{[fields][systemid]}-%{+YYYY.MM.dd}" 
  }
}

2是 syncmysql.conf，数据表同步到es的文件规则

input {
    stdin { }
    jdbc {
        jdbc_connection_string => "jdbc:mysql://www.baidu.com:9205/esdb?serverTimezone=GMT%2B8"
        jdbc_user => "root"
        jdbc_password => "123456"
        jdbc_driver_library => "/usr/share/logstash/myfile/mysql-connector-java-6.0.6.jar"
        jdbc_driver_class => "com.mysql.jdbc.Driver"
        jdbc_paging_enabled => "true"
        jdbc_page_size => "1000"
        statement => "SELECT * FROM t_b_estate_search where c_time_update> :sql_last_value order by c_time_update asc"
        schedule => "*/1 * * * *"
          codec => plain { charset => "UTF-8"}
        record_last_run => true
        last_run_metadata_path => "/usr/share/logstash/myfile/station_time.txt"
        use_column_value => true
        tracking_column => "c_time_update"
        tracking_column_type => "timestamp" 
        clean_run => false
    }
 }
 
 filter {
    ruby {
        code => "event.timestamp.time.localtime"
    }
    date {
       match => [ "@timestamp" , "yyyy/MM/dd:HH:mm:ss Z" ]
    }
}
 
 output {
     stdout {
        codec => json_lines
    }
    elasticsearch { 
        hosts => ["www.baidu.com:9200","www.baidu.com:9201"]
        index => "mses-%{+YYYY.MM.dd}" 
    }
}

 

myfile目录，有mysql驱动，一个空白的文件，用于记录数据库采集同步时间

 

 

 

安装运行命令：

// 意思 运行这个（logstash:7.1.1，有就执行，没有就下载后执行），如果异常了，自动重启（随机器启动过后重启），限制运行内存在1000m 后台运行-it -d ，
// 对外映射顿口5044,9600，容器名字叫logstash,挂载几个目录，--privileged=true 让容器有特权写入同步到宿主机

docker run --restart=always  -m 1000M -it -d -p 5044:5044 -p 9600:9600 --name logstash -v /home/soft/logstash/config/logstash.yml:/usr/share/logstash/config/logstash.yml -v /home/soft/logstash/conf.d/:/usr/share/logstash/conf.d/ -v /home/soft/logstash/myfile/:/usr/share/logstash/myfile/ -v /home/soft/logstash/logs/:/usr/share/logs/ --privileged=true logstash:7.1.1