重磅！全世界第一份 AIOps 白皮书（诚意版）独家发布

Posted 2021-04-24 高效运维

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了重磅！全世界第一份 AIOps 白皮书（诚意版）独家发布相关的知识，希望对你有一定的参考价值。

AIOps 自从 Gartner 于2016年提出至今已有一段时间，虽然在顶级互联网及电信企业，已有较多落地，但至今仍无基于生产实践的理论体系及实施指南。

高效运维社区和云计算开源产业联盟（OSCAR联盟）牵头，和互联网大厂如 BATJ、360、华为、平安科技等的 AIOps 负责人联合编写了国内外首个《企业级 AIOps 实施建议》白皮书，以缩短贵司的 AIOps 实施路径。

在此先行放出此白皮书的诚意版，敬请赏阅。

本文目录：

一、整体介绍
二、AIOps目标、原则及能力框架

2.1、AIOps 目标

2.2、AIOps 指导原则

2.3、AIOps 能力分级

2.4、AIOps 能力框架

三、AIOps平台能力体系
四、AIOps 团队角色
五、AIOps 常见应用场景

5.1、质量保障方向

5.2、效率提升方向

5.3、成本管理方向

六、AIOps 实践路径建议

6.1、未实现自动化运维时

6.2、已经实现自动化运维时

6.2.1、质量保障方向

6.2.2、效率提升方向

6.2.3、成本管理方向

七、AIOps 实施及关键技术

7.1、数据采集

7.2、数据处理

7.3、数据存储

7.4、离线和在线计算

7.5、机器学习

八、AIOps 效果度量

一、整体介绍

注：部分内容节选自裴丹教授相关资料。

AIOps，即 Artificial Intelligence for IT Operations，智能运维，将人工智能应用于运维领域，基于已有的运维数据（日志、监控信息、应用信息等），通过机器学习的方式来进一步解决自动化运维没办法解决的问题。

早期的运维工作大部分是由运维人员手工完成的，这被称为手工运维或人肉运维。这种落后的生产方式，在互联网业务快速扩张、人力成本高企的时代，难以维系。

重磅！全世界第一份 AIOps 白皮书（诚意版）独家发布（图片原创：Patrick Debois）

这时，出现了自动化运维，用可被自动触发的、预定义规则的脚本，来执行常见的、重复性的运维工作，从而减少人力成本，提高运维效率。

自动化运维可以认为是一种基于行业领域知识和运维场景领域知识的专家系统。

但是，随着整个互联网业务急剧膨胀，以及服务类型的复杂多样，“基于人为指定规则”的专家系统逐渐变得力不从心。自动化运维的不足，日益凸显，这也为 AIOps 带来发展机遇。

AIOps 不依赖于人为指定规则，主张由机器学习算法自动地从海量运维数据（包括事件本身以及运维人员的人工处理日志）中不断地学习，不断地提炼并总结规则。

AIOps 在自动化运维的基础上，增加了一个基于机器学习的大脑，指挥监测系统采集大脑决策所需的数据，做出分析、决策，并指挥自动化脚本去执行大脑的决策，从而达到运维系统的整体目标。

AIOps 基于自动化运维，将 AI 和运维很好的结合起来，其需要三方面的知识：

1、行业领域知识：应用的行业，如互联网、金融、电信、物流、能源电力等，并熟悉生产实践中的难题；

2、运维场景领域知识：包括异常检测、故障预测、瓶颈分析、容量预测等；

3、机器学习：把实际问题转化为算法问题，常用算法包括如聚类、决策树、卷积神经网络等。

AIOps 是企业级 DevOps 在运维（技术运营）侧的高阶实现。

AIOps 和 DevOps 两者并不冲突，企业级 DevOps 涵括包括运维在内的整个软件生命周期，。此部分可具体参考《研发运营一体化能力成熟度模型》。

AIOps 是运维的发展必然，是自动化运维的下一个发展阶段。

Gartner 相关报告预测 AIOps 的全球部署率将从2017年的10%增加到2020年的50%。其应用行业，除了互联网以外，还包括高性能计算、电信、金融、电力网络、物联网、医疗网络和设备、航空航天、军用设备及网络等领域。

二、AIOps 目标、原则及能力框架

AIOps，通俗的讲，是对规则的AI化，即将人工总结运维规则的过程变为自动学习的过程。

具体而言，是对我们平时运维工作中长时间积累形成的自动化运维和监控等能力，将其规则配置部分，进行自学习的“去规则化”改造，最终达到终极目标：“有AI调度中枢管理的，质量、成本、效率三者兼顾的无人值守运维，力争所运营系统的综合收益最大化”。

2.1、AIOps 目标

利用大数据、机器学习和其他分析技术，通过预防预测、个性化和动态分析，直接和间接增强IT业务的相关技术能力，实现所维护产品或服务的更高质量、合理成本及高效支撑。

2.2、AIOps 指导原则

重磅！全世界第一份 AIOps 白皮书（诚意版）独家发布

2.3、AIOps 能力分级

AIOps的建设可以先由无到局部单点探索、再到单点能力完善，形成解决某个局部问题的运维AI“学件”，再有多个具有AI能力的单运维能力点或学件组合成一个智能的运维流程，如智能化的监控预测及告警，免干预的自动化扩缩容，免干预的性能调优、免干预的成本组成调优等。

具体可描述为5级：

1）开始尝试应用AI能力，还无较成熟单点应用

2）具备单场景的AI运维能力，可以初步形成供内部使用的学件

3）有由多个单场景AI运维模块串联起来的流程化AI运维能力，可以对外提供可靠的运维AI学件

4）主要运维场景均已实现流程化免干预AI运维能力，可以对外提供可靠的AIOps服务。

5）有核心中枢AI，可以在成本、质量、效率间从容调整，达到业务不同生命周期对三个方面不同的指标要求，可实现多目标下的最优或按需最优。

重磅！全世界第一份 AIOps 白皮书（诚意版）独家发布
（上图一级中 Ai 为笔误，应为 AI ）

2.4、AIOps 能力框架

重磅！全世界第一份 AIOps 白皮书（诚意版）独家发布

注：“学件”（Learnware）一词是南京大学周志华老师的原创，学件（Learnware）= 模型（model）+规约（specification），具有可重用、可演进、可了解的特性。

“可重用”的特性使得能够获取大量不同的样本；

“可演进”的特性使得可以适应环境的变化；

“可了解”的特性使得能有效地了解模型的能力。

很多人可能在自己的应用中已经建立了这样的模型，他们也很愿意找到一个地方把这些模型分享出去。那以后一个新用户想要应用，也许不用自己去建立一个，而是先到“学件”市场上找一找有没有合适的，可以拿来使用修改。

因为学件是在专家基础上建立的，所以比较容易得到专家级的结果，又因为共享出来的是模型，所以避免了数据泄露和隐私泄露的问题。

部分关键场景的能力分级方法：

重磅！全世界第一份 AIOps 白皮书（诚意版）独家发布

三、AIOps 平台能力体系

AIOps 工作平台的能力体系主要功能是为 AIOps 的实际场景建设落地而提供功能的工具或者产品平台，其主要目的是降低 AIOps 的开发人员成本，提升开发效率，规范工作交付质量。

具体的工具或者产品应具备以下功能或模块：

1、交互式建模功能：该功能支持用户在平台上交互式的进行模型的开发调试，通过简单的方法配置完成模型的构建。

2、算法库：用户可以在算法库中找到常见常用的算法直接使用，算法按照用途分类，以供用户方便的使用。

3、样本库：样本库用于管理用户的样本数据，供用户建模时使用，支持样本的增删改查等基本操作。

4、数据准备：该功能支持用户对数据进行相关的预处理操作，包括关联、合并、分支路由、过滤等。

5、灵活的计算逻辑表达：在基本常用的节点功能之外，用户还需要自由的表达一些计算逻辑，该需求主要是通过让用户写代码或表达式来支持。

6、可扩展的底层框架支持：平台本身要能够灵活的支持和兼容多种算法框架引擎，如Spark、TensorFlow等，以满足不同的场景以及用户的需求。

7、数据分析探索：该功能是让用户能够方便快捷的了解认识自己的数据，用户只有基于对数据充分的认识与理解，才能很好的完成模型的构建。

8、模型评估：对模型的效果进行评估的功能，用户需要依据评估的结论对模型进行调整。

9、参数以及算法搜索：该功能能够自动快速的帮助用户搜索算法的参数，对比不同的算法，帮助用户选择合适的算法以及参数，辅助用户建模。

10、场景模型：平台针对特定场景沉淀的解决方案，这些场景都是通用常见的，用户可以借鉴参考相关的解决方案以快速的解决实际问题

11、实验报告：模型除了部署运行，相关挖掘出来的结论也要能够形成报告，以供用户导出或动态发布使用。

12、模型的版本管理：模型可能有对个不同的版本，线上运行的模型实例可能分属各个不同的版本，版本管理支持模型不同版本构建发布以及模型实例版本切换升级等。

13、模型部署应用：模型构建完成后需要发布应用，模型部署应用功能支持模型的实例化，以及相关计算任务的运行调度管理。