模型评估——ROC、KS

不管是利用模型对信用申请人进行违约识别，仍是对授信申请人进行逾期识别……在各类各样的统计建模中，永远必不可少的一步是对模型的评价，这样咱们就能够根据模型评价指标的取值高低，来决定选取哪一个模型。本篇主要讲述一下ROC曲线和K-S曲线的区别和联系。

以二分类问题为例，模型输出会出现四种状况：

　　　　

咱们最关心的结果是正确预测的几率和误判率，常见的指标有：

（1）True Positive Rate，简称为TPR，计算公式为TPR=TP/(TP+FN)——全部真实的“1”中，有多少被模型成功选出；

（2）False Positive Rate，简称为FPR，计算公式为FPR=FP/(FP+TN)——全部真实的“0”中，有多少被模型误判为1了；

（3）Precision=TP/(TP+FP)，或2TP/((TP+FN)+(TP+FP))。

其中最经常使用的是TPR和FPR。最理想的模型，固然是TPR尽可能高而FPR尽可能低啦，然而任何模型在提升正确预测几率的同时，也会难以免地增长误判率。听起来有点抽象，好在有ROC曲线很是形象地表达了两者之间的关系。

对于一个二分类模型，输出的最初结果是连续的；假设已经肯定一个阀值，那么最初结果大于阀值时，则输出最终结果为1，小于阀值则输出为0。假如阀值取值为0.6，那么FPR和TPR就能够计算出此时的取值，标志为一个点，记为(FPR1,TPR1)；若是阀值取值为0.5，同理就能够计算出另外一个点，记为(FPR2,TPR2)。设定不一样的阀值，就能够计算不一样的点(FPR,TPR)，

咱们以FPR为横坐标,TPR为纵坐标，把不一样的点连成曲线，就获得了ROC曲线。理论上ROC就是这么画出来的，那么问题来了，阀值如何肯定？

以Logistic模型为例，模型输出的结果实际上是几率，而后咱们经过设定阀值，把几率转化为最终的输出结果0和1。首先出如今咱们脑中的直观想法，就是把(0,1)区间进行等分，好比，等分为十个区间（其实分红多少份均可以，你们能够自由发挥），那么就能够分别以0.1，0.2，0.3，0.4，0.5，0.6，0.7，0.8，0.9为阈值，首先计算出根据阀值断定出的0和1有多少，以及断定为1真实为1和判断为1真实为0的有多少；而后计算出不一样的(FPR,TPR)值；最后把点之间进行连线，画出的曲线便是ROC曲线。

下面，咱们以某商业银行某时间段内某支行客户的逾期相关数据为例详细说明：P表明此支行的某客户的逾期率（暂且定义为在此时间段内某客户的逾期可能性），Y表明是否为高逾期客户，X是与逾期有关的相关指标，好比行业、企业规模、客户的五级分类等等。

然而，当把这个直观的想法对案例数据付诸实施的时候，咱们发现计算出的几率值都落在[0.0092,0.578]区间范围内。这种状况下，若是还用上面的“直观想法”（即仍然假定P小于阈值时，断定为0），那么设定阈值为0.1到0.5时，可以计算出不一样的(FPR,TPR)值；而将阈值取到0.6到0.9时，模型的断定结果为全部的样本就都是0了……so sad！计算出的(FPR,TPR)值都是(0,0)，ROC曲线的点由11个变成了6个…….

看来实践是检验真理的惟一标准！面对这个特殊案例，咱们的直观想法确定须要改进。最终，咱们的实现方法是：

1. 把(0,1)区间升级为(min(P),max(P))；

2. 取值(min(P),max(P))/10，设定阀值为(min(P),max(P))*k/10，其中k=1,2,3,…,9；

3. 根据不一样的阀值，计算出不一样的(FPR,TPR)值。

这时候再画出ROC曲线，就避免了上面的问题。

以上思路讲完后，可能有的小伙伴要问了：这样在写代码实现的过程当中，每次都要和阀值进行作比较，计算量比较大，不如先对样本计算出的P值从小到大排序（固然从大到小也能够），取前百分之几（好比10%）处的值为阀值，那么排序以后前百分之几（好比前10%）的断定为0，其余则断定为1。这样计算量就少了不少啦！

因而，咱们继续改进阀值的设置，首先把Logistic模型输出的几率从小到大排序，而后取10%的值（也就是几率值）做为阀值，同理把10%*k（k=1,2,3,…,9）处的值做为阀值，计算出不一样的(FPR,TPR)值，就能够画出ROC曲线啦。

但是，从小到大排序以后，每次取前百分之几处的值为阀值呢？总共分红10份仍是100仍是1000份呢？有选择困难症的小伙伴又纠结了，告诉你个办法，别纠结，有多少个模型输出的几率值就分红多少份，再也不考虑百分之几！好比Logistic模型输出的几率有214个，那么咱们把214个目标变量从小到大进行排序，而后分别以这214个的几率值为阀值，能够计算出214个不一样的(FPR,TPR)值，也能够画出ROC曲线。

ROC曲线画好后，就要发挥用处！对于一个模型一组参数能够画出一条ROC曲线，此时最优的阀值是什么呢？TPR和FPR是正相关的，也就是说，正确断定出1的数量增长时，必然要伴随着代价：误判为1的FP也增长。

从ROC曲线上也能够反映出这种变化，从ΔTPR>ΔFPR到ΔTPR<ΔFPR，最理想的阀值是ΔTPR=ΔFPR时。可是在实际应用中，咱们不多可以给出ROC曲线的函数表达式，这时的解决方法包括：

（1）给出ROC曲线的拟合函数表达式，而后计算出最优的阀值，这个目前经过软件实现难度不大：如何给出最优拟合函数，计算数学上有不少方法；

（2）计算出ΔTPR≈ΔFPR的点即为最优的阀值；

（3）从业务上给出最优的阀值。

对于一个模型多个参数的状况，就能够画出多条ROC曲线，此时哪组参数是最优的呢？咱们能够结合AUC指标，哪组参数的AUC值越高，说明此组参数下的模型效果越好。另外，在SAS的评分模型输出中，经常使用来判断收入分配公平程度的gini系数也用来评价模型，此时gini=2*AUC-1.

对了，解释一下AUC指标：ROC曲线下方的面积Area Under the ROC Curve，简称为AUC。这是评价模型的另外一个方法，AUC值越大，说明模型的分辨效果越好。

经常使用的模型评价还有K-S曲线，它和ROC曲线的画法殊途同归。以Logistic模型为例，首先把Logistic模型输出的几率从大到小排序，而后取10%的值（也就是几率值）做为阀值，同理把10%*k（k=1,2,3,…,9）处的值做为阀值，计算出不一样的FPR和TPR值，以10%*k（k=1,2,3,…,9）为横坐标，分别以TPR和FPR的值为纵坐标，就能够画出两个曲线，这就是K-S曲线。

从K-S曲线就能衍生出KS值，KS=max(TPR-FPR)，便是两条曲线之间的最大间隔距离。当(TPR-FPR)最大时，也就是ΔTPR-ΔFPR=0，这和ROC曲线上找最优阀值的条件ΔTPR=ΔFPR是同样的。从这点也能够看出，ROC曲线、K-S曲线、KS值的本质是相同的。

以某模型的评价为例，在K-S曲线的横坐标0.4时取KS=0.53，能够认为最优的阀值是从小到大排序的40%处的值：

　　　　　　

　　　　　　

K-S曲线能直观地找出模型中差别最大的一个分段，好比评分模型就比较适合用KS值进行评估；但同时，KS值只能反映出哪一个分段是区分度最大的，不能反映出全部分段的效果。因此，在实际应用中，模型评价通常须要将ROC曲线、K-S曲线、KS值、AUC指标结合起来使用。

在目前经常使用的统计软件中，基本均可以直接输出ROC曲线、AUC值、K-S曲线等。不过有的小伙伴会问，我用的软件没有这些内嵌指标，怎么办？还能怎么办，本身写几行代码画呗，相信大家能够的。

转自：http://www.sohu.com/a/132667664_278472