机器学习|朴素贝叶斯算法（三）-深刻理解朴素贝叶斯原理

机器学习|朴素贝叶斯算法（一）-贝叶斯简介及应用
机器学习|朴素贝叶斯算法（二）-用sklearn实践贝叶斯

[机器学习|朴素贝叶斯算法（三）-深刻理解朴素贝叶斯原理](https://yq.aliyun.com/articles/411329?spm=a2c4e.11153940.blogcont408869.15.26b9b6ce7AUPEi)

在机器学习|朴素贝叶斯算法（一）-贝叶斯简介及应用中经过计算穿长裤中女生的几率解释了贝叶斯算法。这里在提供另一种思路：它给咱们提供的是一种根据数据集DD的内容变化更新假设几率HH的方法。

这种理解在《贝叶斯思惟：统计建模的python学习法》中定义为“历时诠释”，“历时”意味着某些事情随着时间而发生，便是假设的几率随着看到的新数据而变化。

根据贝叶斯定理：

P(H|D)=P(H)P(D|H)P(D)P(H|D)=P(H)P(D|H)P(D)

每一项的意思以下（结合第一篇女生穿长裤问题分析）：

HH---女生，DD---穿长裤

$P\left(H\right)$称为先验几率，即在获得新数据前某一假设的几率
$P\left(H|D\right)$称为后验几率，即在看到新数据后，咱们要计算的该假设的几率
$P\left(D|H\right)$是该假设下获得这一数据的几率，称为似然
$P\left(D\right)$是在任何假设下获得这一数据的几率，称为标准化常量

有些状况下，咱们能够基于现有背景进行得知先验几率。好比在女生穿长裤问题中，咱们就能知道女孩在学校所占人数的比例（几率）是多少，即便不知道具体的比例，咱们也能够根据学校的性质（工科学校或者其余）来大概假设出女孩的几率。
**
在其余状况下，先验几率是偏主观性的。这也是频率学派提出的对贝叶斯学派的批评之一。由于对某一先验几率，因为使用不一样背景信息做出判断，或者由于针对相同的前提条件做出了不一样解读**。

似然是贝叶斯计算中最容易知道的部分，好比女孩中穿长裤的几率。

标准化常量被定义为在全部的假设条件下这一数据出现的几率，由于考虑的是最通常的状况，因此不容易肯定这个常量在具体应用场合的现实意义。所以咱们能够经过全几率公式来求得。啰嗦一下：

定理 设试验E的样本空间为S，A为E的事件，B1,B2,...,BnB1,B2,...,Bn为S的一个划分，且Pleft(Biright)>0(i=1,2,3,....n)Pleft(Biright)>0(i=1,2,3,....n),则

Pleft(Aright)=Pleft(A|B1right)Pleft(B1right)+Pleft(A|B2right)Pleft(B2right)+Pleft(Aright)=Pleft(A|B1right)Pleft(B1right)+Pleft(A|B2right)Pleft(B2right)+

...+Pleft(A|Bnright)Pleft(Bnright)....+Pleft(A|Bnright)Pleft(Bnright).

称为全几率公式.

好比，穿长裤几率： P(Boy)×P(Pants|Boy)+U×P(Girl)×P(Pants|Girl)P(Boy)×P(Pants|Boy)+U×P(Girl)×P(Pants|Girl)。

既然提到了全几率公式，为了进一步理解贝叶斯公式，这里给出另外一种贝叶斯公式的写法：

P(Bi|A)=P(A|Bi)P(Bi)P(A)P(Bi|A)=P(A|Bi)P(Bi)P(A)

=P(A|Bi)P(Bi)∑nj=1P(A|Bj)P(Bj),i=1,2,...,n.=P(A|Bi)P(Bi)∑j=1nP(A|Bj)P(Bj),i=1,2,...,n.

上式中，样本空间OmegaOmega中的一个完备事件群leftB1,B2,...,BnrightleftB1,B2,...,Bnright，设AA为OmegaOmega中的一个事件，且Pleft(Biright)>0,i=1,2,3,....,n,Pleft(Aright)>0Pleft(Biright)>0,i=1,2,3,....,n,Pleft(Aright)>0。推敲一下这个公式的意义：从形式上看这个公式不过是条件几率定义与全几率公式的简单推论。可是之因此著名的缘由在于它的哲学意义。先看Pleft(B1right),Pleft(B2right),...,Pleft(Bnright)Pleft(B1right),Pleft(B2right),...,Pleft(Bnright),这是在没有进一步信息（不知道AA发生）时，人们对事件B1,B2,...,BnB1,B2,...,Bn发生可能性大小的认识（先验信息），在有了新信息（知道A发生）后，人们对事件B1,B2,...,BnB1,B2,...,Bn发生可能性大小新的认识体如今Pleft(B1|Aright),Pleft(B2|Aright),...,Pleft(Bn|Aright).Pleft(B1|Aright),Pleft(B2|Aright),...,Pleft(Bn|Aright).

若是咱们把事件A当作“结果”，把诸事件B1,B2,...,BnB1,B2,...,Bn当作致使这一结果的可能“缘由”，则能够形象地把全几率公式当作由“缘由”推“结果”。仍是举那个例子，事件AA——穿长裤，事件B1B1——女生，事件B2B2——男生，则Pleft(Aright)=Pleft(A|B1right)Pleft(B1right)+Pleft(A|B2right)Pleft(B2right)Pleft(Aright)=Pleft(A|B1right)Pleft(B1right)+Pleft(A|B2right)Pleft(B2right),这里男生女生就是穿裤子这个“结果”的“缘由”。而贝叶斯公式正好相反，其做用在于由“结果”推“缘由”。如今有告终果A,在致使A发生的众多缘由中，到底 是哪一个缘由致使了AA发生（或者说：究竟是哪一个缘由致使AA发生的可能性最大）？若是这里理解有点障碍，能够看一下我在 机器学习|朴素贝叶斯算法（二）-用sklearn实践贝叶斯中详细讨论过的几率，似然，后验几率的关系。

好了，关于朴素贝叶斯算法目前只学习了这么多，以后进行实践操做的时候还会再补充，但愿能有所收获╰(￣ω￣ｏ)

阅读原文http://click.aliyun.com/m/41276/