二分类问题中混淆矩阵、PR以及AP评估指标

仿照上篇博文对于混淆矩阵、ROC和AUC指标的探讨，本文简要讨论机器学习二分类问题中的混淆矩阵、PR以及AP评估指标；实际上，（ROC,AUC）与（PR,AP）指标对具备某种类似性。

按照按部就班的原则，依次讨论混淆矩阵、PR和AP：

设定一个机器学习问题情境：给定一些肿瘤患者样本，构建一个分类模型来预测肿瘤是良性仍是恶性，显然这是一个二分类问题。
本文中，将良性肿瘤视为正类标签（可能在具体实践中更为关注恶性肿瘤，不过这并不影响技术上的操做）。
当分类模型选定之后，将其在测试数据集上进行评估，分别能够获得如下评估指标：

混淆矩阵

TP表示预测为良性，真实状况是良性的样例数；
FN表示预测为恶性，真实状况是良性的样例数；
FP表示预测为良性，真实状况是恶性的样例数；
TN表示预测为恶性，真实状况是恶性的样例数；
以上四类数据构成混淆矩阵。

PR

在混淆矩阵的基础上，进一步地定义两个指标。

按照下式定义precision（P）指标

precision表示，预测为正的样本中有多少是真正的正样本；精准率强调对某类样本识别的准确性。

按照下式定义recall（R）指标

recall表示，样本中的正例有多少被预测正确了；召回率强调对某类样本识别的全面性。

precision,recall分别反映分类器对某一类样本鉴别能力的两个方面；一般，这两个指标呈现互斥关系，即一个指标高了每每会导致另外一指标下降。

由上，一个混淆矩阵对应一对（precision,recall）

须要明确的是，P和R是创建在类别明确的预测结果之上的，即分类模型明确地指出待预测样本的类别。
然而，在二分类问题（0，1）中，通常模型最后的输出是一个几率值，表示结果是1的几率。此时须要肯定一个阈值，若模型的输出几率超过阈值，则归类为1；若模型的输出几率低于阈值，则归类为0。
不一样的阈值会致使分类的结果不一样，也就是混淆矩阵有差，P和TR也就不一样。
当阈值从0开始慢慢移动到1的过程，就会造成不少对（precision,recall）的值，将它们画在坐标系上，就是所谓的PR曲线了。

AP

获得PR曲线后，就能够计算曲线下方的面积，计算出来的面积就是AP值。
通常而言，AP越大，模型的性能越好。

示例