用Python画ROC曲线

    受试者工做特征曲线（receiver operating characteristic curve，简称ROC曲线），是比较两个分类模型好坏的可视化工具   

ROC曲线的做用：

    1.较容易地查出任意界限值时的对类别的识别能力

    2.选择最佳的诊断界限值。ROC曲线越靠近左上角,试验的准确性就越高。最靠近左上角的ROC曲线的点是错误最少的最好阈值，其假阳性和假阴性的总数最少。

    3.两种或两种以上不一样诊断试验对算法性能的比较。在对同一种算法的两种或两种以上诊断方法进行比较时，可将各试验的ROC曲线绘制到同一坐标中，以直观地鉴别优劣，靠近左上角的ROC曲线所表明的受试者工做最准确。亦可经过分别计算各个试验的ROC曲线下的面积(AUC)进行比较，哪种试验的AUC最大，则哪种试验的诊断价值最佳。

集才华与美丽于一身的ROC曲线究竟是什么？

    ROC曲线是根据一系列不一样的二分类方式（分界值或决定阈），以真阳性率TPR（灵敏度）为纵坐标，假阳性率FPR（1-特异度）为横坐标绘制的曲线。

那么TPR和FPR都是什么意思？先看下混淆矩阵

这样能够一目了然的看出正确分类和错误分类的样本数量，因此

准确率precision=（TP+TN）/（P+N）

    可是在实际应用中，咱们感兴趣的类每每只占少数，因此在test集存在类不平衡的状况下，准确率对于咱们的模型意义很小，eg：test中续费90，流失10，即便你把全部的样本预测为续费，准确率依然为90%，但对于咱们感兴趣的流失用户而言，这个模型没有什么意义

因此，现实中咱们更在意的实际上是召回率，即灵敏度，固然咱们通常关注较高的是咱们感兴趣类的召回率

recall =TP/（TP+FN）=TP/P

F度量则对准确率和召回率作一个权衡

F=（1+a2）*precision*recall/（a*precision+recall）

a2是a的平方，通常默认a= 1

说了这么多看似跟ROC没有相关的概念，但其实理解了上面的公式才能更好的理解ROC的做用，这里是美丽的分割线，下面是优美的ROC曲线

定义：

TPR = TP/P  即召回率公式

FPR = FP/N  即1-specificity

ROC曲线是以FPR为横坐标，以TPR为纵坐标，以几率为阈值来度量模型正确识别正实例的比例与模型错误的把负实例识别成正实例的比例之间的权衡，TPR的增长一定以FPR的增长为代价，ROC曲线下方的面积是模型准确率的度量

因此根据ROC曲线定义可知，绘制ROC要求模型必须能返回监测元组的类预测几率，根据几率对元组排序和定秩，并使正几率较大的在顶部，负几率较大的在底部进行画图

ROC曲线

    随机猜想的曲线是默认正负都按照0.5几率平均分类时的ROC曲线，那么离随机猜想曲线较远的点就是最好的几率选择阈值，该图中的凸包旁边点对应的几率就是咱们所要选择的几率，即根据ROC凸点选择几率阈值和根据凸点判断两个模型好坏的由来。

 

 在分类模型中，ROC曲线和AUC值常常做为衡量一个模型拟合程度的指标

      sklearn上有一个画ROC曲线的例子，利用的是经典的鸢尾花（iris）数据。但鸢尾花数据分类的结果有三种，例子就直接来作图（通常的分类任务明明只有两种结果啊！！！），对于初学者来讲（说的是我本身）看起来真的别扭。所以我对该例子作了一些改动（简化），将数据转化为二分类，这样比较容易理解。

       首先为你们介绍一下Python作ROC曲线的原理。sklearn.metrics有roc_curve, auc两个函数，ROC曲线上的点主要就是经过这两个函数计算出来的。

(1.)

    fpr, tpr, thresholds  =  roc_curve(y_test, scores) 

      其中y_test为测试集的结果，scores为模型预测的测试集得分（注意：经过decision_function(x_test)计算scores的值）；fpr,tpr,thresholds 分别为假正率、真正率和阈值。（应该是不一样阈值下的真正率和假正率）。

(2.)

    roc_auc =auc(fpr, tpr) 

    roc_auc为计算的acu的值。

本身编写代码以下：

# -*- coding: utf-8 -*-
import matplotlib.pyplot as plt
from sklearn import svm
from sklearn.metrics import roc_curve, auc  ###计算roc和auc

train_x = [[0.], [1.], [1.], [0.], [1.]]
train_y = [0., 1., 1., 0., 1.]
test_x = [[1.], [1.], [0.], [1.], [0.]]
test_y = [1., 1., 0., 1., 0.]

# Learn to predict each class against the other
svm = svm.SVC(kernel='linear', probability=True)

###经过decision_function()计算获得的y_score的值，用在roc_curve()函数中
model = svm.fit(train_x, train_y)
test_y_score = model.decision_function(test_x)
prediction = model.predict(test_x)
print(test_y_score)
print(prediction)
# Compute ROC curve and ROC area for each class
fpr, tpr, threshold = roc_curve(test_y, test_y_score)  ###计算真正率和假正率
roc_auc = auc(fpr, tpr)  ###计算auc的值

lw = 2
plt.figure(figsize=(8, 5))
plt.plot(fpr, tpr, color='darkorange',
         lw=lw, label='ROC curve (area = %0.2f)' % roc_auc)  ###假正率为横坐标，真正率为纵坐标作曲线
plt.plot([0, 1], [0, 1], color='navy', lw=lw, linestyle='--')
plt.xlim([0.0, 1.0])
plt.ylim([0.0, 1.05])
plt.xlabel('False Positive Rate')
plt.ylabel('True Positive Rate')
plt.title('Receiver operating characteristic example')
plt.legend(loc="lower right")
plt.show()

 

展现以下：

官网示例代码：

# -*- coding: utf-8 -*-
"""
Created on Thu Sep 21 16:13:04 2017
@author: lizhen
"""
import numpy as np
import matplotlib.pyplot as plt
from sklearn import svm, datasets
from sklearn.metrics import roc_curve, auc  ###计算roc和auc
from sklearn import cross_validation
 
# Import some data to play with
iris = datasets.load_iris()
X = iris.data
y = iris.target
 
##变为2分类
X, y = X[y != 2], y[y != 2]
 
# Add noisy features to make the problem harder
random_state = np.random.RandomState(0)
n_samples, n_features = X.shape
X = np.c_[X, random_state.randn(n_samples, 200 * n_features)]
 
# shuffle and split training and test sets
X_train, X_test, y_train, y_test = cross_validation.train_test_split(X, y, test_size=.3,random_state=0)
 
# Learn to predict each class against the other
svm = svm.SVC(kernel='linear', probability=True,random_state=random_state)
 
###经过decision_function()计算获得的y_score的值，用在roc_curve()函数中
y_score = svm.fit(X_train, y_train).decision_function(X_test)
 
# Compute ROC curve and ROC area for each class
fpr,tpr,threshold = roc_curve(y_test, y_score) ###计算真正率和假正率
roc_auc = auc(fpr,tpr) ###计算auc的值
 
plt.figure()
lw = 2
plt.figure(figsize=(10,10))
plt.plot(fpr, tpr, color='darkorange',
         lw=lw, label='ROC curve (area = %0.2f)' % roc_auc) ###假正率为横坐标，真正率为纵坐标作曲线
plt.plot([0, 1], [0, 1], color='navy', lw=lw, linestyle='--')
plt.xlim([0.0, 1.0])
plt.ylim([0.0, 1.05])
plt.xlabel('False Positive Rate')
plt.ylabel('True Positive Rate')
plt.title('Receiver operating characteristic example')
plt.legend(loc="lower right")
plt.show()

 

参考博文：

http://scikit-learn.org/stable/auto_examples/model_selection/plot_roc.html

http://scikit-learn.org/stable/modules/generated/sklearn.metrics.roc_curve.html

http://scikit-learn.org/stable/modules/generated/sklearn.metrics.auc.html

http://blog.csdn.net/u010454729/article/details/45098305

https://blog.csdn.net/lz_peter/article/details/78054914

https://www.jianshu.com/p/4b616c7838a3