ELK+filebeat inside docker LTS 长期维护文档

Posted 2023-05-10

参考技术A 决定写一遍文档 记录容器化elk+filebeat 的学习过程的心得日志, 记录的出发点是从我一脸懵逼的状态开始的,所以应该会很适合第一次接触elk的朋友们.

Tips:

获取镜像
docker pull sebp/elk:630
docker pull docker.elastic.co/beats/filebeat:6.3.1

运行 elk
docker run -p 5601:5601 -p 9200:9200 -p 5044:5044 -it --name elk sebp/elk

启动elk意外的简单,体现出了容器化的优点,非常简单的就能启动程序, 打开kibana的5601端口进去溜达一下了, 但是里面是空的 没有数据. 我学习elk的目的是为了监控我目前正在使用的docker log,所以下一步是打断用filebeat来转发日志到elk上.
首先用filebeat转发本地的一个log.txt文件 一会我们往里面echo 东西做调试.

运行 filebeat
docker run -v /home/daniel/Documents/elk/filebeat.yml:/usr/share/filebeat/filebeat.yml -v /home/daniel/Documents/elk/:/home/daniel/Documents/elk/ docker.elastic.co/beats/filebeat:6.3.1

filebeat可以把日志直接转发到ES 或者转发到logstash, 其中的区别取决于你是否需要在ES之前需要对数据进行过滤 聚合等操作, 如果暂时没需求 也可以直接转到ES上, (这里建议先发到ES上, logstash会遇到SSL证书的问题) 或者转到redis或者kafka后面再学习这种情况.

filebeat启动也很简单, 问题是启动了之后 elk里啥也没有.查了很多文档 发现filebeat启动需要挂载filebeat.yml配置文件

这里的output配置了logstash跟es的,暂时先把logstash的disable掉, 注意不要使用localhost, 不然连不上 需要使用LAN ip.
启动filebeat时挂载了两个目录,第一个是filebeat.yml, 这是filebeat的配置文件,需要挂载进去.
第二个是需要监控的log目录 也需要挂载进去.

挂载log目录跟filebeat.yml配置一样的 log目录之后, 会发现filebeat启动时会打印
Harvester started for file: /home/daniel/Documents/elk/nima.log
如果没有挂载log目录,则没有havester启动信息.

现在就可以在elk里看到Log了. 第一步成功了.

这里如果要output到logstash的话,需要注意要么filebeat要使用logstash里的ssl证书,要么logstash把默认的配置filebeat的文件去掉ssl功能.

我是通过重新打docker image的方式去掉logstash里的ssl配置
把 /etc/logstash/conf.d/02-beats-input.conf 拷贝出来 把里面关于SSL的三行去掉
docker cp CONTAINER_ID /etc/logstash/conf.d/02-beats-input.conf .
创建Dockerfile

docker build -t my_elk .
docker run -p 5601:5601 -p 9200:9200 -p 5044:5044 -it --name my_elk my_elk

有一个问题是 每次把filebeat docker 关了 再run之后发现 elk里的log每次都重新读取了一次,都是重复的,
然后查看文档 在filebeat里 有一个registry的文件是负责记录读取的log的状态的, 而我每次启动filebeat都是docker run一个新的
而不是 继续用老的filebeat 容器, 所以会重复, 总之就是 filebeat跟elk的容易不需要每次都创建,因为他们在容器内都会需要记录一下内容.

下一步是准备用filebeat转发目前使用中的docker的log
首先需要要需要转发log的机器上运行filebeat
docker tag docker.elastic.co/beats/filebeat i71:5000/filebeat
docker push i71:5000/filebeat
后面这个是我在使用的docker private registry
然后再目标机器上pull下来
docker pull i71:5000/filebeat

docker log所在的目录是 /var/lib/docker/containers/ / .log
可以在path中 指定这个地方

然后别忘了启动filebeat时挂在docker container log目录
docker run -v /root/elk/filebeat.yml:/usr/share/filebeat/filebeat.yml -v /var/lib/docker/containers:/var/lib/docker/containers i71:5000/filebeat
发现filebeat启动时没有havester启动的日志
docker exec CONTAINER_ID bash
进去看一下发现挂在的docker目录没权限 进不去

所以需要在宿主机执行 sudo chmod -R 755 /var/lib/docker/containers
给上读与执行的权限

再次启动filebeat就可以看到havester的消息了.

这样的配置方法是可以拿到所有docker的log 优点是 以后新创建的docker的log也会被捕获到, 缺点是 如果机器上的docker 太多的话,log会很多,目前我还不会过滤 所以 看着很难受

elk 官方提供了一种实验性的读取docker log的 filebeat配置方式
https://www.elastic.co/guide/en/beats/filebeat/6.3/filebeat-input-docker.html

注意这里的container_id不能使简写 , 可以先用 docker ps 看到简写id之后在 ls /var/lib/docker/containers/ 里去找
或者 使用命令 docker ps --no-trunc=true 获得container 完整ID

这样就简洁多了,就是发版本时docker 新容器需要重新配置, 暂时就这么用吧,先研究一下

现在就算是正式的可以使用elk 查看我们的docker log了
我现在首先遇到的一个明显的问题是 当python出异常时 打印出来的log 在elk里都分散开了, 而且时间顺序也没对,查看起来非常难受. 后来查到 这种事情需要配置一个叫multipleline的东西,它负责决定什么时候出换行
贴一下现在的filebeat配置文件, 整个世界清爽了很多啊

关于multiline,参考:
参考 http://www.madhur.co.in/blog/2017/04/30/view-exceptions-in-elk.html 这个是不以空格开头的 都合并
我感觉这个不适合python所以选择了 下面这种正则 不以[开头的都合并.
https://blog.csdn.net/xiaoliuliu2050/article/details/77867401 这个适合python

Filebeat+ELK 部署(接上一篇)

Filebeat+ELK 部署

• ​​Node1节点（2C/2G）：192.168.132.50 ​​
• ​​Node2节点（2C/2G）：192.168.132.51 ​​
• ​​Apache节点：192.168.132.52 ​

//在 Node1 节点上操作
1．安装 Filebeat
#上传软件包 filebeat-6.2.4-linux-x86_64.tar.gz 到/opt目录
tar zxvf filebeat-6.2.4-linux-x86_64.tar.gz
mv filebeat-6.2.4-linux-x86_64/ /usr/local/filebeat


2．设置 filebeat 的主配置文件
cd /usr/local/filebeat

vim filebeat.yml
filebeat.prospectors:
- type: log         #指定 log 类型，从日志文件中读取消息
  enabled: true
  paths:
    - /var/log/messages       #指定监控的日志文件
    - /var/log/*.log
  fields:           #可以使用 fields 配置选项设置一些参数字段添加到 output 中
    service_name: filebeat
    log_type: log
    service_id: 192.168.132.50

--------------Elasticsearch output-------------------
(全部注释掉)

----------------Logstash output---------------------
output.logstash:
  hosts: ["192.168.132.52:5044"]      #指定 logstash 的 IP 和端口

#启动 filebeat
./filebeat -e -c filebeat.yml


4．在 Logstash 组件所在节点上新建一个 Logstash 配置文件
cd /etc/logstash/conf.d

vim logstash.conf
input 
    beats 
        port => "5044"
    

output 
    elasticsearch 
        hosts => ["192.168.132.50:9200"]
        index => "%[fields][service_name]-%+YYYY.MM.dd"
    
    stdout 
        codec => rubydebug
    


#启动 logstash
logstash -f logstash.conf


5．浏览器访问 http://192.168.132.50:5601 登录 Kibana，单击“Create Index Pattern”按钮添加索引“filebeat-*”，单击 “create” 按钮创建，单击 “Discover” 按钮可查看图表信息及日志信息。

• ​Node1节点（2C/2G）：192.168.132.50 ​

• Apache节点：192.168.132.52