统计:mAP的中文意思

         原文连接:http://blog.csdn.net/Lu597203933/article/details/41802155
html

        以前写过一篇blog叫作机器学习实战笔记之非均衡分类问题:http://blog.csdn.net/lu597203933/article/details/38666699  其中对Precision和Recall及ROC都有所讲解,其中区别在于Precision,Recall, F-score, MAP主要用于信息检索,而ROC曲线及其度量指标AUC主要用于分类和识别,ROC的详细介绍见上面的blog,这里的Precision、Recall和上篇blog的计算结果实际上是同样的,只是这里从检索的角度进行理解。算法


一:Precision, Recall, F-score

       信息检索、分类、识别、翻译等领域两个最基本指标是召回率(Recall Rate)和准确率(Precision Rate------注意统计学习方法中precesion称为精确率,而准确率为accuracy 是分类正确的样本除以总样本的个数。),召回率也叫查全率,准确率也叫查准率,概念公式:

              召回率(Recall)=  系统检索到的相关文件 / 系统全部相关的文件总数;;;亦即预测为真实正例除以全部真实正例样本的个数

             准确率(Precision)=  系统检索到的相关文件 / 系统全部检索到的文件总数;;;亦即等于预测为真实正例除以全部被预测为正例样本的个数

图示表示以下:


注意:机器学习

 ( 1 ) 准确率和召回率是互相影响的,理想状况下确定是作到二者都高,可是通常状况下准确率高、召回率就低,召回率低、准确率高,固然若是二者都低,那是什么地方出问题了。学习

(2)若是是作搜索,那就是保证召回的状况下提高准确率;若是作疾病监测、反垃圾,则是保准确率的条件下,提高召回。

 因此,在二者都要求高的状况下,能够用F1(或者称为F-score)来衡量。计算公式以下:

                     F1= 2 * P * R / (P + R)

(1) 公式基本上就是这样,可是如何算图1中的A、B、C、D呢?这须要人工标注,人工标注数据须要较多时间且枯燥,若是仅仅是作实验能够用用现成的语料。固然,还有一个办法,找个一个比较成熟的算法做为基准,用该算法的结果做为样原本进行比照,这个方法也有点问题,若是有现成的很好的算法,就不用再研究了。

(2)    形象直观的理解就是Recall要求的是全,宁肯错杀一千,不能放过一人,这样Recall就会很高,可是precision就会最低。好比将全部的样本都判为正例,这是Recall就会等于1,可是不少负样本都被当作了正例,在某些状况就不适用,好比邮件过滤,此时要求的是准确率,不能是召回率,将全部的邮件都当作垃圾邮件确定是最坏的结果(此时Recall=1)。

若是没有证据证实你有罪,那么你就有罪,召回率会很高;若是没有证据证实你有罪,那么你就无罪,召回率会很低,不全,不少人逍遥法外;

二:MAP

MAP:全称 mean average precision(平均准确率)。mAP是为解决P,R,F-measure的单点值局限性的,同时考虑了检索效果的排名状况。 计算以下: 假设有两个主题,主题1有4个相关网页,主题2有5个相关网页。某系统对于主题1检索出4个相关网页,其rank分别为1, 2, 4, 7;对于主题2检索出3个相关网页,其rank分别为1,3,5。对于主题1,平均准确率为(1/1+2/2+3/4+4/7)/4=0.83。对于主题 2,平均准确率为(1/1+2/3+3/5+0+0)/5=0.45。则MAP=(0.83+0.45)/2=0.64。” 参考文献: 1:http://blog.csdn.net/marising/article/details/6543943信息检索(IR)的评价指标介绍 - 准确率、召回率、F一、mAP、ROC、AUC 2:http://blog.sina.com.cn/s/blog_662234020100pozd.htmlMAP(Mean Average Precision) 3:http://wenku.baidu.com/view/ef91f011cc7931b765ce15ec.html
相关文章
相关标签/搜索