【金融风控】风险模型评价指标

Posted 2023-05-15

参考技术A

在逻辑回归、随机森林、GBDT、XGBoost这些模型中，模型训练完成之后，每个样本都会获得对应的两个概率值，一个是样本为正样本的概率，一个是样本为负样本的概率。把每个样本为正样本的概率取出来，进行排序，然后选定一个阈值，将大于这个阈值的样本判定为正样本，小于阈值的样本判定为负样本，然后可以得到两个值，一个是真正率，一个是假正率。

真正率即判定为正样本且实际为正样本的样本数/所有的正样本数，假正率为判定为正样本实际为负样本的样本数/所有的负样本数。每选定一个阈值，就能得到一对真正率和假正率，由于判定为正样本的概率值区间为[0,1]，那么阈值必然在这个区间内选择，因此在此区间内不停地选择不同的阈值，重复这个过程，就能得到一系列的真正率和假正率，以这两个序列作为横纵坐标，即可得到ROC曲线了。而ROC曲线下方的面积，即为AUC值。

K-S曲线其实数据来源和本质和ROC曲线是一致的，只是ROC曲线是把真正率和假正率当作横纵轴，而K-S曲线是把真正率和假正率都当作是纵轴，横轴则由选定的阈值来充当。

KS(Kolmogorov-Smirnov)：KS用于模型风险区分能力进行评估，指标衡量的是好坏样本累计分部之间的差值。好坏样本累计差异越大，KS指标越大，那么模型的风险区分能力越强。

KS的计算步骤如下：

要弄明白ks值和auc值的关系首先要弄懂roc曲线和ks曲线是怎么画出来的。其实从某个角度上来讲ROC曲线和KS曲线是一回事，只是横纵坐标的取法不同而已。拿逻辑回归举例，模型训练完成之后每个样本都会得到一个类概率值（注意是类似的类），把样本按这个类概率值排序后分成10等份，每一份单独计算它的真正率和假正率，然后计算累计概率值，用真正率和假正率的累计做为坐标画出来的就是ROC曲线，用10等分做为横坐标，用真正率和假正率的累计值分别做为纵坐标就得到两个曲线，这就是KS曲线。AUC值就是ROC曲线下放的面积值，而ks值就是ks曲线中两条曲线之间的最大间隔距离。

ROC值一般在0.5-1.0之间。值越大表示模型判断准确性越高，即越接近1越好。ROC=0.5表示模型的预测能力与随机结果没有差别。KS值表示了模型将+和-区分开来的能力。值越大，模型的预测准确性越好。一般，KS>0.2即可认为模型有比较好的预测准确性。KS值一般是很难达到0.6的，在0.2~0.6之间都不错。一般如果是如果负样本对业务影响极大，那么区分度肯定就很重要，此时K-S比AUC更合适用作模型评估，如果没什么特别的影响，那么用AUC就很好了。

查准率和查全率的计算

查准率和查全率是一对矛盾的度量。一般来说，查准率高时，查全率往往偏低;而查全率高时，查准率往往偏低。例如，若希望将好瓜尽可能多地选出来（查全率高），则可通过增加选瓜的数量来实现，如果将所有西瓜都选上，那么所有的好瓜也必然都被选上了，但这样查准率就会较低；若希望选出的瓜中好瓜比例尽可能高（查准率高），则可只挑选最有把握的瓜， 但这样就难免会漏掉不少好瓜，使得查全率较低。

五、P-R曲线

根据样例是正例的可能性进行排序，排在前面的是学习器认为"最可能 “是正例的样本，排在最后的则是学习器认为"最不可能"是正例的样本。这样，分类过程就相当于在这个排序中以某个"截断点” (cut point)将样本分为两部分，前一部分判作正例，后一部分则判作反例。

这个截断点就相当于阈值（threshold），设置不同的threshold计算出当前的查全率、 查准率。即根据不同threshold来绘制曲线，曲线A上的每个点都对应不同的阈值。A,B,C是三个学习器，也可以说是三个模型。

如何度量学习器性能？

若一个学习器的 P-R 曲线被另一个学习器的曲线完全包住 ，则后者的性能优于前者，A优于C若两个学习器的P-R曲线相交，则可根据平衡点和F1度量。

（1）平衡点（Break-event Point，简称BEP）：即查全率=查准率时的取值。平衡点取值A>B，即A优于B （2）F1度量

Fl 是基于查准率与查全率的调和平均 (harinonic mean)定义的:

群体稳定性指标PSI(Population Stability Index)是衡量模型的预测值与实际值偏差大小的指标。

举例：

比如训练一个logistic回归模型，预测时候会有个概率输出p。测试集上的输出设定为p1吧，将它从小到大排序后10等分，如0-0.1,0.1-0.2,......。现在用这个模型去对新的样本进行预测，预测结果叫p2，按p1的区间也划分为10等分。实际占比就是p2上在各区间的用户占比，预期占比就是p1上各区间的用户占比。

意义就是如果模型跟稳定，那么p1和p2上各区间的用户应该是相近的，占比不会变动很大，也就是预测出来的概率不会差距很大。一般认为PSI小于0.1时候模型稳定性很高，0.1-0.25一般，大于0.25模型稳定性差，建议重做。

PS：除了按概率值大小等距十等分外，还可以对概率排序后按数量十等分，两种方法计算得到的psi可能有所区别但数值相差不大。

金融风控指标-vintage迁移率滚动率入催率FPDDPD

随着互联网金融的发展，对数据分析的需求越来越大。数据分析的目的其实是为了找到风险和收益的平衡点。高收益伴随着高风险，而低风险的回报又如同鸡肋。所以，太高的风险，太低的收益都不行。平衡点通俗来讲就是风险在控制范围之中，收益也可以接受。为了找到平衡点，我们通常会计算许多风控指标，这些风控指标是什么意思，他们有什么作用，我们挑几个金融领域比较常用的指标说说。

🏕️ vintage

vintage这个词源于葡萄酒业，意思是葡萄酒的酿造年份。我们在生活中经常会进行各种各样的比较，但是比较有个前提，就是比较的事物应该是位于同一层面上的。如果你拿四年级的学生和1年级的学生比较身高，或者拿成年人和未成年人比较体重那是毫无意义的。同理，我们在比较放贷质量的时候，也要按账龄（month of book，MOB）的长短同步对比，从而了解同一产品不同时期放款的资产质量情况。

举例来说，今天是2018年5月25日，我们取今天贷款第一期到期的客户作为观察群体，观察他们今后29天的还款情况。如果你将今天所有贷款到期的客户作为观察群体（里面有第一期到期的，也有第二期到期的，也有第三期到期的等等），那么这个群体里面的客户就不是位于同一层面上了。

到了下个月，6月25号，我们取6月25号贷款第一期到期的客户作为观察群体，观察他们之后29天的还款情况。这样你就可以比较5月25号的群体和6月25号的群体的还款情况差异。如果6月25号的群体还款质量有显著性降低（如下图），那么你可能会审视一下你这一个月来的营销策略是否变宽松了，或者这一个月来国家政策有什么改动等等。

当期未还本金/当期应还金额	DAY0	DAY1	…	DAY29
2018-05-25	60%	55%	…	15%
2018-06-25	80%	55%	…	25%

表格数字虚构

以上就是vintage的介绍。传统的销售统计报表大多数情况下只是将不同渠道、不同时间、不同产品的数据进行统计，是顺序的，平面的。vintage将不同时期的数据拉平到同一时期比较，可以很直观地比较和反思不同时期公司的营销策略的效果。

🎃 迁移率

在说迁移率之前，我们先定义逾期阶段的概念。逾期就是说你到了该还款的日子而没有还款，那你就进入了逾期。根据逾期天数，又分为M0-M7+等八个阶段。M0-放款日至账单日前5日 C_M0-账单日前5日至账单日 C_M1-账单日至月底 M1-下月初到下月底，以此类推。各公司定义可能有些许不同，但都大同小异。

有了逾期阶段的概念，迁移率就好理解了。简单说，就是处于某一逾期阶段的客户转到其他逾期阶段的变化情况。迁移率通常可以用来预测不同逾期阶段的未来坏账损失。比如，M2-M3，说的是从逾期阶段M2转到逾期阶段M3的比例。需要注意的是，我们应该选还款日为同一天的M2来做分子，如下。

指标	2018-05-25	2018-05-26	2018-05-27	字段说明
M2-M3	xx%	xx%	xx%	前一天处于M2并且还款日为当天的、在当天处于M3的客户数 / 前一天处于M2并且还款日为当天的客户数

迁移率是催收常使用的绩效指标。它与vintage结合能实现风险的精细化管理。vintage的核心思想是对不同时期的同一层面的资产进行分别跟踪，按照账龄长短进行同步对比，从而了解不同时期的资产质量情况，是一个所谓竖切的概念；而迁移率能很好的提示客户整个生命周期中的衍变情况，是一个所谓横切的概念。

🎄 滚动率

在风险控制中，我们的根本目的是识别坏用户，通过历史数据，抓取坏客户显著区别于正常客户的特征，并以此为标准去预测未来的坏客户。用户的好坏其实很难定义，不能说逾过期的用户就是坏用户，也许人家其实想还，只是不小心忘记还款了呢。而且，有的时候，“适当”的逾期还能增加公司的逾期利息收入。我们所关注的坏客户是坏到某一程度，也就是逾期等级较高且不还款的客户。

前面说的vintage是从时间维度上判断客户群体的好坏，下面说的滚动率则是从行为程度上判断客户的好坏，它可以帮助我们判断某些逾期客户是否还可以再抢救一下，收回点成本。

滚动率，简单地说就是以某一时间点为观察节点，观察客户在该点前一段时间内（比如半年）最坏逾期阶段，并追踪其在观察点之后的一段时间向其他逾期阶段发展的情况，特别是向更坏程度发展的情况。举个栗子，今天是2018年5月25日，取今天的1万个客户，统计他们在过去半年里的最大逾期阶段。然后追踪他们后半年的表现。以下数字纯属虚构，完全是为了说明问题，各个公司有自己的观察数据和追踪数据。

• M0的客户在未来半年里，98%的客户还是会保持正常M0的状态

• 最大逾期阶段M1的客户在未来80%会变M0，但是还有20%会继续，甚至有5%的人往更坏的程度发展

• 最大逾期阶段M2的客户在未来40%的人会继续恶化，22%左右的人会变M0（完全从良）；

• 最大逾期阶段M3的客户在未来60%的人会继续恶化，15%左右的人会变M0（完全从良）；

• 最大逾期阶段M3+的客户在未来80%的客户会继续此状态（没救了）。

根据以上的数据，我们可能就可以得出逾期3期以上的客户，都是无力抢救的坏客户这样的结论。假如我们想把条件收紧一点，那么我们可能会选择逾3期或者2期。再假如我要给坏设定等级，那么我就可以把3期以上设为极度坏，逾3、2期的话可能设置为中度坏，逾1期的人可以是不经意的坏。这些特征将来可以放到风控建模的样本特征中来。

🧨 入催率

有了前面的铺垫，入催率就比较简单了。它指的是在某一个还款日，客户从M0变成M1的比例。比如说，今天，有N个M0客户到了还款日，里面有M个客户按时还款了，那么今天的入催率就是（N-M）/N。它与下面的FBD是有区别的。

🎈 FPD

FPD是指首期逾期率，是说在某一个还款日，仅第一期到期的客户中有多少没有按时还款。与入催率的差别在于，入催率包含了第一期、第二期、第三期等等所有到期的M0。FPD一般用来做反欺诈，因为欺诈用户他第一期是根本不会还款的。

🎀 DPD

逾期天数 DPD (Days Past Due) 自应还日次日起到实还日期间的日期数
举例：DPDN+表示逾期天数>=N天，如DPD30+为逾期天数>=30天的合同
————————————————

原文链接：https://blog.csdn.net/qq_35531549/article/details/90292788