深度学习核心技术精讲100篇（四十八）-TB级的日志监控系统很难？带你使用ELK轻松搭建日志监控系统

Posted 2021-06-27 文宇肃然

前言

本文主要介绍怎么使用 ELK Stack 帮助我们打造一个支撑起日产 TB 级的日志监控系统。在企业级的微服务环境中，跑着成百上千个服务都算是比较小的规模了。在生产环境上，日志扮演着很重要的角色，排查异常需要日志，性能优化需要日志，业务排查需要业务等等。

 

然而在生产上跑着成百上千个服务，每个服务都只会简单的本地化存储，当需要日志协助排查问题时，很难找到日志所在的节点。也很难挖掘业务日志的数据价值。

那么将日志统一输出到一个地方集中管理，然后将日志处理化，把结果输出成运维、研发可用的数据是解决日志管理、协助运维的可行方案，也是企业迫切解决日志的需求。

 

解决方案

 

 

 

通过上面的需求我们推出了日志监控系统，如上图：

 

• 日志统一收集、过滤清洗。

• 生成可视化界面、监控，告警，日志搜索。