(1)ROC(Receiver Operating Characteristic)受试者工做特征：研究学习器泛化能力性能
根据学习器的预测结果对样例进行排序，按此顺序逐个把样本做为正例进行预测，每次计算出两个重要量的值，获得ROC曲线。学习
ROC的横轴是假正例率，纵轴是真正例率。测试
若是一个学习器的ROC曲线被另外一个的彻底包围，则可断言后者的性能优于前者；若两个曲线发生交叉则较为合理的是比较ROC曲线下的面积，即AUC。spa
（2）代价敏感错误率与代价曲线排序
依据：不一样类型的错误形成的后果不一样统计
所以创建一个代价矩阵，区分各个类别错误的损失程度。工作
ROC曲线不能直接反映出学习器的指望整体代价，代价曲线能够。错误
（3）比较检验
统计假设检验为咱们进行学习器性能比较提供了重要依据，基于假设检验的结果，咱们能够推断出，若在测试集上观察到学习器A比B好，则A的泛化性能是否在统计意义上优于B
（1）假设检验：根据测试错误率推出泛化错误率的分布
（2）交叉检验t检验：根据差值来对学习器B与学习器A性能相同这个假设作t检验
（3）McNemar检验：假设两学习器性能相同，则二者在对应测试集上的性能相同