什么是K-S检验

Posted 2023-04-05

Kolmogorov-Smirnov是比较一个频率分布f(x)与理论分布g(x)或者两个观测值分布的检验方法。其原假设H0:两个数据分布一致或者数据符合理论分布。D=max|
f(x)-
g(x)|，当实际观测值D>D(n,α)则拒绝H0，否则则接受H0假设。KS检验与t-检验之类的其他方法不同是KS检验不需要知道数据的分布情况，可以算是一种非参数检验方法。当然这样方便的代价就是当检验的数据分布符合特定的分布事，KS检验的灵敏度没有相应的检验来的高。在样本量比较小的时候，KS检验作为非参数检验在分析两组数据之间是否不同时相当常用。
假定两个样本的样本量分别为n1和n2，用F1(X)和F2(X)分别表示两个样本的累积经验分布函数。再记Dj＝F1(Xj)-F2(Xj)。检验统计量近似正态分布,表达式为：Z=max|
Dj
|根号下（n1n2/（n1+n2））
方法步骤是：
（1）令f（x）为假设所特定的理论累积分布函数；
（2）令sn（x）为n个观察值的样本累积函数。对每一个观察值x，sn（x）＝k／n，k是小于或等于x的观察例数；
（3）确定最大距离D，定义为：
D＝max｜f（x）－sn（x）｜
检验假设H0:
f（x）＝sn（x）
备择假设H1:
（4）对于选定的显著水平，如果D值等于或大于附表的临界值，则拒绝原假设 参考技术A Kolmogorov-Smirnov是比较一个频率分布f(x)与理论分布g(x)或者两个观测值分布的检验方法。其原假设H0:两个数据分布一致或者数据符合理论分布。D=max| f(x)- g(x)|，当实际观测值D>D(n,α)则拒绝H0，否则则接受H0假设。KS检验与t-检验之类的其他方法不同是KS检验不需要知道数据的分布情况，可以算是一种非参数检验方法。当然这样方便的代价就是当检验的数据分布符合特定的分布事，KS检验的灵敏度没有相应的检验来的高。在样本量比较小的时候，KS检验作为非参数检验在分析两组数据之间是否不同时相当常用。
假定两个样本的样本量分别为n1和n2，用F1(X)和F2(X)分别表示两个样本的累积经验分布函数。再记Dj＝F1(Xj)-F2(Xj)。检验统计量近似正态分布,表达式为：Z=max| Dj |根号下（n1n2/（n1+n2））
方法步骤是：
（1）令f（x）为假设所特定的理论累积分布函数；
（2）令sn（x）为n个观察值的样本累积函数。对每一个观察值x，sn（x）＝k／n，k是小于或等于x的观察例数；
（3）确定最大距离D，定义为：
D＝max｜f（x）－sn（x）｜
检验假设H0: f（x）＝sn（x）
备择假设H1:
（4）对于选定的显著水平，如果D值等于或大于附表的临界值，则拒绝原假设 参考技术B K-S检验是统计学中在对一组数据进行统计分析是所用到的一种方法。它是将需要做统计分析的数据和另一组标准数据进行对比，求得它和标准数据之间的偏差的方法。一般在K-S检验中，先计算需要做比较的两组观察数据的累积分布函数，然后求这两个累积分布函数的差的绝对值中的最大值D。最后通过查表以确定D值是否落在所要求对应的置信区间内。若D值落在了对应的置信区间内，说明被检测的数据满足要求。反之亦然。

评分模型的检验方法和标准通常有：K-S指标交换曲线AR值Gini数等。例如，K-S指标是用来衡量验证结果是否优于期望值，具体标准为：如果K-S大于40%，模型具有较好的预测功能，发展的模型具有成

评分模型的检验方法和标准通常有：K-S指标、交换曲线、AR值、Gini数等。例如，K-S指标是用来衡量验证结果是否优于期望值，具体标准为：如果K-S大于40%，模型具有较好的预测功能，发展的模型具有成功的应用价值。K-S值越大，表示评分模型能够将“好客户”、“坏客户”区分开来的程度越大。

 

 

例如，K-S指标是用来衡量验证结果是否优于期望值，具体标准为：如果K-S大于40%，模型具有较好的预测功能，发展的模型具有成功的应用价值。K-S值越大，表示评分模型能够将“好客户”、“坏客户”区分开来的程度越大。

 

信用评分模型介绍（一）

2016-08-28 蒋靓 Larry Jiang Larry的风险模型分享与探讨

引言：对于信用评分模型，很多朋友或多或少有所了解，这里做一般性的介绍，并分享自己的多年从业经验。这边短文主要包括：信用评分模型，自变量的生成、筛选、分档和转换，及常用有监督学习模型。

 

信用评分模型

信用评分模型是一种有监督的学习模型（Supervised Learning），数据由一群自变量X和对应的因变量y构成。传统零售信用模型中，X大致分为客户的基本信息（年龄、性别、职业、学位等），财务信息（收入，每月生活消费，每月信贷还款额等），产品信息（LTV，信用卡类别，个人贷款用途等），征信信息（前6个月被查询次数，前6个信用卡最大利用率，未结清贷款数等）；而一般取值0-1因变量y可以定义为在未来12个月是否出现欠款90天等.

经验备注：在大数据下，很多互联网公司对个人的评估不再局限于以上几种信息，而是根据更为广泛的数据源对个人进行更全面的刻画，故有称之为客户画像。数据维度会考虑个人在社会上留下的任何数据，如手机使用行为，理财行为，社交圈，网购行为，旅游行为等等等等。大家的各方面数据其实都在被不同的公司和不同的APP收集。。。

 

自变量的生成

自变量是信用风险的来源，除了考虑直接收集的变量，信用评分建模过程中往往需要建模人员产生更多的衍生变量。这部分工作要分析人员的直觉、长期经验的积累和数据挖掘技术的应用。大家可以通过京东和支付宝的评分一窥其自变量的维度：芝麻信用分为5个维度：身份特质，履约能力，信用历史，人脉关系，行为偏好；小白信用分也分为5个维度：身份，资产，关系，履约，偏好。

经验备注：现在越来越多的模型技术被应用于信用模型，但是个人觉得无论高级模型还是初级模型，最为重要的是更广泛的数据和产生更多更具有预测能力的自变量。

 

自变量的筛选

自变量一旦丰富了起来，就涉及到有效变量的筛选，大致可根据一下几个原则或方法：变量的直观意义（是否跟y有关），变量的单调性或合理性，未来是否可以获取以便模型可实施，变量的区分能力（IV），变量间相关性（变量聚类），变量缺失率，分档之后的稳定性等等。

经验备注：对于区分能力太强的变量，或缺失率很大的变量，不建议直接放入模型，可以考虑做成规则或者做成最后模型的调整。在大数据下，人们经常强调自变量与因变量的相关关系，应用于精准性要求不高的营销模型问题不大。而对于精准度要求极高的信用评分模型，相关关系的应用值得推敲。

 

自变量分档和转换

为了保持模型的稳定性，信用模型一般对自变量进行分档，比如根据风险不同把年龄分成几档。这样每档需要一个值来代表这段的自变量输入，这就是变量的转换，常见的有WOE和Logit转换。通过转换后不仅实现了稳定性要求，也克服不同变量间刻度不统一的问题，还克服回归中缺失值的填充问题。

经验备注：如果分档过粗糙，不但会降低单个变量的预测能力，也会造成最终评分集中度过高的问题。解决方法：可以考虑每档用线性插值来代替常数，也可以寻找更多能区分分数集中样本的自变量放入模型。

 

有监督学习模型介绍

目前比较流行的模型主要有以下几种（以后分享会逐一介绍）：

1. Logistic 回归（Logistic Regression）

2. 决策树（Decision Tree）

3. 支持向量机（Support Vector Machine）

4. 人工神经网络（Artificial Neural Network） 

5. 生存分析模型（Survival Analysis Model）

经验备注：除此上述之外，还有些高级方法或算法：集成方法（Ensemble Method）（例如随机森林（Random Forrest），Boosting，AdaBoost），深度学习方法（Deep Learning），随机梯度下降算法（Stochastic Gradient Descent）等。