二分类问题中的混淆矩阵、ROC以及AUC评估指标

本篇博文简要讨论机器学习二分类问题中的混淆矩阵、ROC以及AUC评估指标；做为评价模型的重要参考，三者在模型选择以及评估中起着指导性做用。

按照按部就班的原则，依次讨论混淆矩阵、ROC和AUC：

设定一个机器学习问题情境：给定一些肿瘤患者样本，构建一个分类模型来预测肿瘤是良性仍是恶性，显然这是一个二分类问题。
当分类模型选定之后，将其在测试数据集上进行评估，分别能够获得如下评估指标：

混淆矩阵

TP表示预测为良性，真实状况是良性的样例数；
FN表示预测为恶性，真实状况是良性的样例数；
FP表示预测为良性，真实状况是恶性的样例数；
TN表示预测为恶性，真实状况是恶性的样例数；
以上四类数据构成混淆矩阵。

ROC曲线

在混淆矩阵的基础上，进一步地定义两个参数。

按照下式定义FPR参数

FPR表示，在全部的恶性肿瘤中，被预测成良性的比例。称为伪阳性率。伪阳性率告诉咱们，随机拿一个恶性的肿瘤样本，有多大几率会将其预测成良性肿瘤。显然FPR越小越好。

按照下式定义TPR参数

TPR表示，在全部良性肿瘤中，被预测为良性的比例。称为真阳性率。真阳性率告诉咱们，随机拿一个良性的肿瘤样本时，有多大几率会将其预测为良性肿瘤。显然TPR越大越好。

由上，一个混淆矩阵对应一对（FPR,TPR）

须要明确的是，FPR和TPR是创建在类别明确的预测结果之上的，即分类模型明确地指出待预测样本的类别。
然而，在二分类问题（0，1）中，通常模型最后的输出是一个几率值，表示结果是1的几率。此时须要肯定一个阈值，若模型的输出几率超过阈值，则归类为1；若模型的输出几率低于阈值，则归类为0。
不一样的阈值会致使分类的结果不一样，也就是混淆矩阵有差，FPR和TPR也就不一样。
当阈值从0开始慢慢移动到1的过程，就会造成不少对(FPR, TPR)的值，将它们画在坐标系上，就是所谓的ROC曲线了。

AUC

获得ROC曲线后，就能够计算曲线下方的面积，计算出来的面积就是AUC值。
通常而言，AUC越大，模型的性能越好。

示例