脚本日志监控分析，解密跑批任务高效运维之道

Posted 2021-05-02 爱数

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了脚本日志监控分析，解密跑批任务高效运维之道相关的知识，希望对你有一定的参考价值。

众所周知：在运维工作中，脚本发挥着不可替代的作用！

几乎没有任何一种复杂的操作系统，能够在不需要用户介入的情况下仍然正常稳定运行。作为系统管理员，运维人员经常需要定期执行特定的任务，以保障系统稳定运行。例如，分析磁盘用量并清理旧文件。将这些繁杂而重复的工作编写为脚本，通过定时任务实现调动执行，减少运维工作量，提升运维效率。

运维工作中，常见跑批任务应用举例：

系统巡检：检查业务程序的任务执行情况，各系统资源使用情况；
版本发布：新版本程序的上传、替换、配置修改、程序重新启动；
备份管理：定期对指定目录下所有文件进行备份；
文件传输：扫描特定目录下的文件，并通过ftp/sftp进行上传、下载；
日志分析：分析web站点日志，分析用户通过何处方式跳转到本站点等业务指标。

但是，由于系统的复杂性，有很多因素可能导致脚本执行失败。如果没有及时发现，可能会造成更大的影响。如：

脚本执行失败，影响业务运行

备份脚本失败：尽管备份脚本的备份策略已经留有一定的安全冗余，但由于脚本连续多次失败未及时发现，在数据丢失时依然存在不能成功找回的情况，造成数据资产损失；
文件传输失败：因为磁盘写满、网络故障等原因，文件传输失败，造成文件积压，影响后续业务的正常进行；
日志分析：数据库管理员更新的存储程序存在bug，导致数据库IO延时高，用户访问响应变慢。但由于日志分析脚本运行失败，未能及时发现此问题，站点长时间处于无法正常访问状态，导致客户大量投诉。

脚本长时间未产生日志，无法保证任务是否正常运行

脚本没有产生日志的原因可能有很多。如，由于脚本修改过程的失误出现语法错误，没有生成失败日志。因此，通过简单的grep命令无法发现这种异常情况。类似情况下，系统管理员常常无法判别跑批任务执行状态。

现有跑批任务日志查看方式繁琐且效率低

由于脚本执行日志分散在系统各处且数量众多，当发现脚本执行失败时，只能登录脚本执行的主机，通过tail、grep等命令查看事件发生时的日志，这种方式繁琐且效率低下。

AnyRobot 实时分析跑批任务执行状态

AnyRobot 实时分析跑批任务的日志数据，对异常任务执行状态进行监控告警、统计分析所有脚本任务执行情况、定时生成监控运维报表发与运维人员，提升运维人员工作效率，降低任务执行时的安全风险。

实时告警，及时发现异常

根据脚本日志的字段格式，创建相应的解析规则，对于接收到的每一条日志记录，AnyRobot根据对应的解析规则进行实时解析，并设定相应的告警条件。当脚本执行失败，错误日志进入系统中，AnyRobot实时产生告警记录，立即发送邮件提醒运维人员；脚本长时间没有产生日志记录，达到告警条件设定的时长，如12小时，触发源端日志未采集告警，发送邮件提醒，帮助运维人员及时处理异常状况。

故障分析，快速定位错误日志根源

日志搜索，支持全文关键词、字段值检索、逻辑运算符、SPL命令等方式精准查询日志记录。