揭开KPI异常检测顶级AI模型面纱

Posted 2021-10-09 我啊我啊

摘要：2020GDE全球开发者大赛-KPI异常检测告一段落，来自深圳福田莲花街道的“原从入门到精通”有幸取得了 总榜TOP1的成绩，在这里跟大家分享深圳福田莲花街道在本次比赛的解决方案。

背景介绍

核心网在移动运营商网络中占据举足轻重的地位，其异常往往会导致呼叫失败、网络延迟等现网故障，对全网的服务质量带来重大的负面影响，多则影响十数万用户，并引发大面积投诉[1]。因此需要快速及时地发现核心网的异常风险，在影响扩大之前及时消除故障。
KPI是一类能够反映网络性能与设备运行状态的指标，本赛题提供某运营商核心网的KPI真实数据，数据形式为KPI时间序列，采样间隔为1小时，选手需要使用[2019-08-01,2019-09-23)的数据进行建模，使用训练好的模型对未来7天的数据进行预测，识别未来一周KPI序列中的异常点。

评估指标：

本赛题采用F1作为评估指标，具体计算公式如下：

P = TP/(TP+FP)

R = TP/(TP+FN)

F1 = 2PR/(P+R)

数据探索

数据**有20个不同的KPI，不同的KPI物理意义不同，代表了不同的核心网指标，由于赛题需要对未来7天的数据进行预测，因此对于建模样本也进行周级别的分布查看。从Fig1中可以明显看到训练集中前三周的异常率显著低于后续几周。进一步分析可以发现虽然赛题提供了[2019-08-01,2019-09-23)的全部数据，但2019-08-15之前所有20个KPI均毫无异常，第一个异常点是从2019-08-15 02:00:00开始出现的（Fig2），因此推测8.15前的数据分布不同于后续样本，或8.15之前存在标注异常的问题。实验中剔除8.15之前的样本建模效果也优于保留该时间段样本，进一步验证了该推测。

摘要：2020GDE全球开发者大赛-KPI异常检测告一段落，来自深圳福田莲花街道的“原从入门到精通”有幸取得了 总榜TOP1的成绩，在这里跟大家分享深圳福田莲花街道在本次比赛的解决方案。

背景介绍

核心网在移动运营商网络中占据举足轻重的地位，其异常往往会导致呼叫失败、网络延迟等现网故障，对全网的服务质量带来重大的负面影响，多则影响十数万用户，并引发大面积投诉[1]。因此需要快速及时地发现核心网的异常风险，在影响扩大之前及时消除故障。
KPI是一类能够反映网络性能与设备运行状态的指标，本赛题提供某运营商核心网的KPI真实数据，数据形式为KPI时间序列，采样间隔为1小时，选手需要使用2019-08-01,2019-09-23)的数据进行建模，使用训练好的模[源码交易型对未来7天的数据进行预测，识别未来一周KPI序列中的异常点。

评估指标：

本赛题采用F1作为评估指标，具体计算公式如下：

P = TP/(TP+FP)

R = TP/(TP+FN)

F1 = 2PR/(P+R)

数据探索

数据**有20个不同的KPI，不同的KPI物理意义不同，代表了不同的核心网指标，由于赛题需要对未来7天的数据进行预测，因此对于建模样本也进行周级别的分布查看。从Fig1中可以明显看到训练集中前三周的异常率显著低于后续几周。进一步分析可以发现虽然赛题提供了[2019-08-01,2019-09-23)的全部数据，但2019-08-15之前所有20个KPI均毫无异常，第一个异常点是从2019-08-15 02:00:00开始出现的（Fig2），因此推测8.15前的数据分布不同于后续样本，或8.15之前存在标注异常的问题。实验中剔除8.15之前的样本建模效果也优于保留该时间段样本，进一步验证了该推测。

背景介绍

核心网在移动运营商网络中占据举足轻重的地位，其异常往往会导致呼叫失败、网络延迟等现网故障，对全网的服务质量带来重大的负面影响，多则影响十数万用户，并引发大面积投诉[1]。因此需要快速及时地发现核心网的异常风险，在影响扩大之前及时消除故障。
KPI是一类能够反映网络性能与设备运行状态的指标，本赛题提供某运营商核心网的KPI真实数据，数据形式为KPI时间序列，采样间隔为1小时，选手需要使用[2019-08-01,2019-09-23)的数据进行建模，使用训练好的模型对未来7天的数据进行预测，识别未来一周KPI序列中的异常点。

评估指标：

本赛题采用F1作为评估指标，具体计算公式如下：

P = TP/(TP+FP)

R = TP/(TP+FN)

F1 = 2PR/(P+R)

数据探索

数据**有20个不同的KPI，不同的KPI物理意义不同，代表了不同的核心网指标，由于赛题需要对未来7天的数据进行预测，因此对于建模样本也进行周级别的分布查看。从Fig1中可以明显看到训练集中前三周的异常率显著低于后续几周。进一步分析可以发现虽然赛题提供了[2019-08-01,2019-09-23)的全部数据，但2019-08-15之前所有20个KPI均毫无异常，第一个异常点是从2019-08-15 02:00:00开始出现的（Fig2），因此推测8.15前的数据分布不同于后续样本，或8.15之前存在标注异常的问题。实验中剔除8.15之前的样本建模效果也优于保留该时间段样本，进一步验证了该推测。