第9篇:微服务的log(elk)

Posted 2023-05-10

参考技术A 严格来说日志的ELK 已经是个很"古老"但非常有用的技术, 但居然有公司还是不用? 我在某个公司的经历是: 该公司部署了4个tomcat 形成集群, 然后线上排查问题要找log的时候, 只能一个个机器去登录, 或者写脚本down下来. 要求上ELK, 被拒绝????

作为程序员, 不能无视业务尝试新技术, 但对于一些已经非常成熟能够提升工作效率的玩意, 那肯定要上啊, 所以我不知道那个负责人到底在想啥...

ELK 三个开源软件的缩写，分别表示：Elasticsearch , Logstash, Kibana , 它们都是开源软件, 组合而成来形成中央式日志查询架构. 这样在各个服务器的日志都会汇总到某个机器, 方便统一的查询和其他处理. 像微服务这种随意部署几十个服务集群的, 上ELK之类系统理所当然.

(其中, 真正收集log的软件是 filebeat, 确切的名字应该是 EFLK)

我的目标是总结在spring cloud 里集成 ELK, 所以物理机上怎么装就不写了, 网上能找到. 这里总结怎么用docker 来完成任务.

工程位于: https://gitee.com/xiaofeipapa
目录: elk-demo

这个配置文件将 log 放到 /tmp/spc_demo_logs/elk-demo 目录下

修改 application.yaml

启动工程, 访问 http://localhost:11000/hello

然后确保在log 目录能够看到日志输出:

这是git上一个封装好的docker 镜像, 运行它需要vm.max_map_count 和至少262144内存, 所以修改如下

安装docker elk

进入容器修改 logstash 配置:

将配置文件修改如下(主要去除 ssl的配置)

重启 elk 容器

可以在这里看最新版本: https://www.elastic.co/downloads/beats/filebeat

主要的配置是:
设置日志目录

设置logstash 并注释 es相关配置

启动 filebeat 并查看状态

如果没有红字, 表示filebeat 顺利启动

登录 http://127.0.0.1:5601/ 在左侧菜单点击 Discover

然后会提示 需要创建 index pattern

点击之后如图创建:

一路点next , 然后再次打开 Discover, 就能看到:

至此, elk + filebeat 的安装就完成了.

理论上将 filebeat 也放到docker , 一键启动最为理想. 但是在写博客试验的时候 docker filebeat 总是不成功. 希望以后补上.

https://www.jianshu.com/p/5df9db5cda8f

67篇经典珍藏 | 第一时间，最新版本DockerMesosSwarm微服务技术干货汇总

这两个月Mesos和Docker版本均有重大更新，小数也第一时间为大家提供了新鲜的技术分享。在保持了原来目录的基础上，小数将最近两个月Mesos和Docker的技术文章独立出来方便大家更好地了解其新版本的特性，点击每篇文章标题即可查看。它将继续作为微信底栏的一个栏目，长期更新，方便大家根据需要搜索阅读。

 

最新版本篇

Mesos1.0篇

Docker1. 12&Swarm篇

 

Mesos篇

概念篇

实践篇

 

Docker篇

概念篇

实践篇

 

DCOS篇

 

微服务篇