无监督学习在反欺诈中的应用

Posted 2021-01-22 yankang

一.反欺诈几种发展阶段：

   1.黑名单，信誉库和指纹设备。这个很好理解，就是针对已有的出现过过信用的人进行标记，但是这种无法标记没有信用记录的人；

   2.规则规律。这个根据一些好的信用的人一些特性，或者一些黑名单的人进行标记统计，总结出一些规则，然后通过规则去过滤避免一些风险；

   3.有监督机器学习。有监督学习来做反欺诈，比较常见的就是做一个离群点检测 or 异常值检测，我们常用的离群点检测方式就是knn，这种方式去判断会造成一定量的误伤；

   4.无监督机器学习。无监督机器学习应用最多的是聚类，聚类是根据未标注的数据机，在数据机内部根据数据特征划分为多个不同的类别，使类别哪的数据比较有较大的相似性，类别之间的数据关联性较少，聚类在无监督学习的时候，主要看两个特征，一个是一致性，一个是关联性；

 

二.无监督学习应用于反欺诈

   1.特征工程，挑样本中有用特征的作为模型训练的数据，会应用一些统计分析，自然语言处理，图形分析等方法，把有用的特征提取出来；

   2.聚类分析，首先要把特征组装成为一个向量， 对向量进入降维分析，减少高纬度的复杂度，第二个要对特征做一个关联性分析，定义它的距离函数；前面做完只会再去丢到聚类模型看结果，如果最终的结果不是特别理想，那么重回上一步进一步做关联性的分析；模型的调整都是不断的循环做的；

   3.图分析，从结果上看，也就是一个更高的维度去管惨小团体和小团体之间是不是有一定的分工或者相关性，换一个视角去了解模型的结果；

   4.结果的排序评分，主要依赖两个评价指标，一个是群组的大小，第二个是群组的关联性；群组的人多，那么说明基数很高，评分相对来说也会比较高；关联性说明，你的一些异常行为与组内比较一直时候，平衡度也会高；

 

业界中蚂蚁信用就是一种反欺诈的应用案例，值得去深入了解一下。