专业的力量 海量日志监控平台（Spark Streaming，实时流式处理系统）

Posted 2021-05-02 甜橙技术

闻道有先后，术业有专攻，专业是职场人的立身之本。信息技术部人才辈出，技术人员在长期的工作实践中摸索和创造了很多成功的方法，让我们一起看看他们是如何用专业的技术去破解一个个难题的。

从左到右：洪涛、刘建荣、雷阳、刘双龙、易海军

一、海量日志监控平台开发的背景 

日志主要包括系统日志、应用程序日志和安全日志。常见的场景系统运维和研发人员需要通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。

但是很多团队在日志方面可能遇到的相关问题有：

1、开发人员不能登录线上服务器查看详细日志，经过运维周转费时费力；

2、 日志数据分散在多台服务器，难以查找；

3、日志数据量大，查询速度慢；

4、 一笔业务交易会涉及多个系统，难以在这些系统的日志中快速定位数据；

5、数据不够实时；

现状： 技术中心同事在生产环境对日志进行查询、业务监控埋点和分析，需要通过堡垒机登录后台服务器去大量搜索和抓取日志，存在隐患：

1）原本对服务器性能的影响

2）业务模块再分细，需要打开访问的会话窗口更多，协查效率低

3）对于要求更高的查询、排序和统计等要求和庞大的机器数量使用，传统grep、awk、wc脚本方式，有局限性。 

二、海量日志监控平台开发的意义

从日志分析常见用例来说，日志分析平台主要用在问题调试、性能分析、安全分析、预测分析、物联网(IoT)日志等 。

举个例子，性能分析：通过web服务器日志中响应时间和http响应代码来了解每个服务的情况日志可以帮助分析系统单个资源的使用情况，多线程行为，以及潜在的死锁条件的等。

通过上面常见日志平台用例阐述其存在的必要性，目前甜橙金融日志平台已经实现：

1、业务链路实时监控；

2、平台应用异常实时监控；

3、分布式应用日志数据实时追踪。

三、 海量日志分析平台开发的里程碑

2016.02  日志监控平台建设项目成立；

2016.04  日志监控平台v1.0上线，覆盖服务于企业帐户2.0应用、上海个账、网关、cif、征信等应用，并实现统一异常告警处理；

2016.05  日志监控平台支撑5.25  、账单支付、 618京东促销 、异步代付业务 、621交费易营销等活动的监控保障；

2016.10  日志监控平台上线南京甜橙云机房，实现标准化、模板化；服务采集三千多台虚拟机，实时监控五百多个应用日志； 

 

2017.04  日志场景分析拓展提出，实现重点业务链路实时监控；

2017.05  重点业务链路监控上线，并同月服务5.25公司大型营销活动。

 

日志监控平台建设，秉承 “全业务，全链路，全触点，先于用户感知，分级处理，分域负责” 工作宗旨， 继续深入拓展日志监控平台的产品，智能辅助技术部门，为平台业务保驾护航。

四、日志场景

（一）监控大盘

（二）日志数据实时场景分析

（三）实时交易日志查询

（四）重要业务链路实时监控

（五）错误日志实时监控