风控建模之性能评估

Posted 2020-11-28 1k-yang

目录

• 1 KS
• 2 GINI
• 3 知识拓展
• 4 思考

?
建模完成后的下一步，就是对模型性能进行评估，常用指标有：

• KS：关注的是一个点（好坏差异最大的点），要结合取到最大KS的评级点综合评估模型
• GINI：关注的是一个面，是一个积分的概念，对模型的评估实际上比KS更全面一些

?

1 KS

在看模型性能报告时，除了KS，还有一个非常重要的指标：在哪一个评级KS取到最大，这会给模型应用带来差异。因为同样的KS，有的模型在高分段区分效果特别好，有的模型在低分段区分效果特别好，但通常而言，银行更关注的是坏客户（低分段客户）。

综上，模型的应用和银行业务偏好有很大关联，所以在评估模型性能时，除了看KS指标，还要看好坏客户分布，是在什么时候取到KS最大值。

?

2 GINI

GINI对模型的评估实际上比KS更全面一些，当两个模型KS一样，可以比较两者的GINI，谁的GINI更大，则这个模型性能更好。

?

3 知识拓展

1. Perf中的20组的分组依据是什么？

其实相当于模型评分的基础上做了等频分箱。

2. 有时会遇到好坏客户比率不单调，造成原因是什么，如何处理这种问题？

在做34组的分布时，两头的客户量会比较少，这时随机因素影响比较大，就有可能导致34级的分布不单调。因为模型是基于数据驱动，完全有可能遇到这种情况，属于正常现象，只要保证在客户分布密集的区域是单调的就行。

?

4 思考

• 如果两个模型KS一样，是否就认为两个模型性能完全一样？

• 如何全面评估模型性能？