贝叶斯决策模型

今天给你们分享的是基于贝叶斯决策的分类的方法，这部份内容须要一些基本的几率论知识做为基础。贝叶斯决策的理论是比较简单的，但对其进一步的分析(如错误率分析，由贝叶斯理论引伸出的更高级的算法) 则会难上许多，我也会尽量将这些部分一一涉及，因此这篇文章可能会连续更新数周，请你们见谅。

相关几率知识

在这里我假设你们对于基本的几率知识以及有所了解，至少该知道什么是几率 几率的一些基本性质等。这里主要介绍条件几率和它的引伸公式。

条件几率

A,B两个随机事件，条件几率P(A|B)是事件B发生的状况下事件A发生的几率，具体的公式是：

由这个公式又引伸出三个相关的公式：几率乘法公式、全几率公式、贝叶斯公式，正是这些公式构成了贝叶斯决策的基础。咱们一个一个来看。

几率乘法公式

几率乘法公式由条件几率公式变化而来：

全几率公式

假设事件A由两两互斥的子事件A1，A2，...，An，而且A这个总体是个完整的事件，则对于事件B就有：

贝叶斯公式

进一步的，把几率乘法公式和全几率公式代入条件几率公式，就获得了贝叶斯公式：

来自经验的几率

在有了以上的知识以后咱们再来看看另外两个容易混淆的概念，先验几率和后验几率。 假设咱们有一批样本X，要求属于wi类的几率：

先验几率

P(wi) :先验几率指的是根据实际存在的资料得出的几率，它彻底来自于以前知识和经验的积累，与即将要分的类无关，但能够提供相关的参考信息。

后验几率

P(wi|X) :后验几率与先验几率相对应。它是经过对收到的样本的统计信息所给出的某一类出现的几率。表明着样本属于这一类的几率。简单的贝叶斯决策每每就是根据后验几率来决策的.

条件几率

P(X|wi) :这里，条件几率表明已知属于wi类时样本X发生某种事件的几率。咱们举例来看，假设有某一项疾病，X表明基本的阴性或者阳性，w表明待查人群(患病的和不患病的)。那么先验几率P(wi)表示这群人中患病和不患病的几率(数据来源多是某次普查，或者是医院积累的数据)，后验几率P(wi|X)可能表示测试人群中结果为阳性的人本来也是患病的几率，条件几率P(X|wi)可能表明本来患病的人检查出患病的几率。

而如何由条件几率和先验几率求出后验几率，这就是贝叶斯公式运用的问题了。

贝叶斯决策

聊完了几率，其实你们对贝叶斯决策的方法可能已经有点了解了，下面咱们直接给出2种最经常使用的决策模型。

最小错误率决策

顾名思义，这一决策规则就是将样本分到错误可能性最小的那一类去。

上一节咱们提到了先验几率和后验几率，可是实际从资料收集的角度来看，先验几率和类几率密度是最容易收集到的，因此咱们考虑用贝叶斯公式把后验几率用类几率密度和先验几率表示出来。

因为网上大部分例子都是2分类的模型，这里直接不加证实的给出多类状况下的分类规则：

有人可能会问条件几率怎么得到，一种办法就是查询条件几率密度曲线

最小风险决策

此种决策模型与最小错误率模型最大的区别就是，有些状况下是不容许犯错的，好比医院的误诊断，保险公司的误决策等，这时候就须要对模型进行修改，一种方法就是对错误状况加上权重惩罚，经常是以 如下表格的方式表现:

咱们最关注的的就是客观异常 决策正常这一项，因此权值每每会比客观正常 决策异常高，具体的比例能够根据最后的错误率来调整。

这里也是直接给出多类状况下的分类模型：

暂时就先总结到这，我会慢慢补充完整