[白话解析] 深刻浅出贝叶斯定理

[白话解析] 深刻浅出贝叶斯定理

0x00 摘要

本文将尽可能使用易懂的方式介绍一致性贝叶斯定理，而且经过具体应用场景来帮助你们深刻这个概念。

0x01 IT概念

1. 贝叶斯定理

贝叶斯定理是用来解决"逆几率"问题的，即根据一些有限的过去数据来预测某个几率。好比利用有限的信息(过去天气的测量数据)来预测明天下雨的几率是多少。

其底层思想是：新观察到的样本信息将修正人们之前对事物的认知。比如是人类刚开始时候对大天然只有少的可怜的先验知识，可是随着不断观察实践得到更多的样本，结果使得人们对天然界的规律摸得愈来愈透彻。

2. 问题领域

• 求解问题(A): 呼延灼想知道本身是不是公明哥哥的心腹，用A来表明"你是大哥的心腹"。

• 已知结果(B): 大哥对你下拜。记做事件B。

• 推理结果 P(A|B): 想经过大哥对你下拜这个事件，来判断大哥视你为心腹的几率。

3. 相关术语

• 先验几率：指根据以往经验和分析获得的几率。它做为"由因求果"问题中的"因"出现。

• 后验几率：指事情已经发生后，要求此事件发生的缘由是因为某个因素引发的可能性的大小。后验几率是指获得"已知结果"的信息以后从新修正的几率。是"执果寻因"问题中的"因"。

先验几率是由以往的数据分析获得的几率，泛指一类事物发生的几率，根据历史资料或主观判断未经证明所肯定的几率。后验几率而是在获得信息以后再从新加以修正的几率，是某个特定条件下一个具体事物发生的几率。

• P(A): 是A的先验几率，之因此称为先验是由于它不考虑任何B方面的因素。

• P(B): 是B的先验几率，之因此称为先验是由于它不考虑任何A方面的因素。在这里就是结果B发生的几率。

• P(A|B): 是已知B发生以后A的条件几率，就是先有B而后才有A，也因为得自B的取值而被成为A的后验几率。

• P(B|A): 是已知A发生以后B条件几率，就是先有A而后才有B，也因为得自A的取值而被成为B的后验几率。

• P(B|A)/P(B): 似然函数，这是一个调整因子，即新信息B带来的调整，做用是使得先验几率更接近真实几率。

4. 对应本题

• 先验几率 P(A): 呼延灼事先没法知道大哥是否视他为心腹，因此只能根据通常的常识(或者以往经验)来分析判断获得一个几率，这里暂定为50%(大哥有喜欢你，不喜欢你两种可能)。

• 后验几率 P(A|B): 即在B事件"大哥下拜"发生以后，对A事件"大哥视你为心腹"几率的从新评估。

5. 思考模式

新观念等于老观念乘上调整因子（也叫作似然比)。

咱们先预估一个先验几率，而后加入实验结果，看看这个实验是加强了仍是削弱了先验几率，由此获得更接近实时的后验几率。

后验几率 = 先验几率 x 调整因子
后验几率是 P(A|B)
先验几率是 P(A)
调整因子是 P(B|A)/P(B)

或者用以下方式来思考：

先验分布 + 样本信息 ==> 后验分布
​
在获得新的样本信息以前，人们对事物的认知是"先验分布"。
在获得新样本信息以后，人们对事物的认知调整为"后验分布"。
​
即原先你有旧观念 P(假设)，有了新证据以后，P(假设|证据)就是你的新观念。新观念等于老观念乘上似然比。P(B|A)/P(B)在这里被称为"似然比"。

或者还有这种思考方式

P(θ|X) = P(X|θ) P(θ) / P(X)
posterior = likehood * prior / evidence
​
posterior：P(θ|X)是 经过样本X获得参数θ的几率，也就是后验几率。
likehood：P(X|θ)是 经过参数θ获得样本X的几率，似然函数，一般就是咱们的数据集的表现，即假设θ已知后咱们观察到的数据应该是什么样子的。
prior：P(θ) 是参数θ的先验几率，通常是根据人的先验知识来得出的。
evidence：P(X) 是样本X发生的几率，是各类条件下发生的几率的积分。

0x02 本题如何解答

1. 通俗思考

呼延灼经过大哥对本身下拜这个事件，来判断大哥视本身为心腹的几率。

通俗的思考: 呼延灼先估计一个值（先验几率），而后根据观察的新信息不断修正(可能性函数)。也就是利用 "调整因子" 来不断修改 "先验几率"）"

贝叶斯公式：

后验几率P(A|B)  = 先验几率P(A) x 调整因子 [P(B|A)/P(B)]

对于本题，则是

 P(大哥看重你|大哥下拜) = P(大哥看重你) x [ P(大哥由于看重你才下拜) / P(大哥下拜) ]

如何通俗思考这个"调整因子" ? 通俗理解就是：大哥看重你 / ( 大哥看重你 + 大哥不看重你). 也就是"大哥看重你"这个事件在整体事件中的比重。 这样才能够调整。

2. 具体解题

2.1 如何求先验几率 P(A)?

一般有以下作法:

• 每一个样本所属的天然状态都是已知的（有监督学习）

• 依靠经验

• 用训练样本中各种出现的频率估计，好比经过极大似然估计，把频数除以总的次数就能够获得。即样本中本类出现的次数除以样本容量

这里呼延灼用常理判断，大哥看重的几率和不看重的几率都是50%, 即

P(A) = P(-A) = 50%

2.2 如何求P(B)?

P(B) 能够根据经验得到，但通常使用全几率公式，其意义在于：没法知道一个事物独立发生的几率，可是咱们能够将其在各类条件下发生的几率进行累加得到。

即全几率公式是对复琐事件的几率求解问题转化为了在不一样状况下发生的简单事件的几率的求和问题。

P(B) = P(B|A)P(A) + P(B|-A)P(-A), 这里把A的反集记做-A

本题中对应

P(大哥下拜) = P(大哥由于看重你才下拜)P(大哥看重你) + P(大哥不看重你也会下拜)P(大哥不看重你)

2.3 如何求P(B|A)?

这个很难。缘由包括：

• 几率密度函数包含了一个随机变量的所有信息；

• 样本数据可能很少；

• 特征向量x的维度可能很大等等；

解决的办法就是，把估计彻底未知的几率密度转化为估计参数。这里就将几率密度估计问题转化为参数估计问题，极大似然估计就是一种参数估计方法。

固然了，几率密度函数的选取很重要，模型正确，在样本区域无穷时，咱们会获得较准确的估计值，若是模型都错了，那估计半天的参数，确定也没啥意义了。

本题中，呼延灼根据样本数据来观察概括推理来获得的

P(大哥由于看重你才下拜) = 20%  
P(大哥不看重你也会下拜) = 80%

2.4 后续推导

因此呼延灼获得了以下公式：

P(大哥看重你|大哥下拜) 
= P(大哥看重你) x [P(大哥由于看重你才下拜) / P(大哥下拜)]
= P(大哥看重你) x [P(大哥由于看重你才下拜) / [ P(大哥由于看重你才下拜)P(大哥看重你) + P(大哥不看重你也会下拜)P(大哥不看重你) ] ]

呼延灼发现，公明哥哥对于李逵戴宗并无纳头便拜，对于董平/关胜/卢俊义则纳头便拜。就知道大哥看重某人其实并不大会下拜，不看重但为了套路某人反而会下拜。

因此呼延灼得出以下计算过程。

如下是呼延灼根据常理假设
p(大哥看重你)=50%
p(大哥不看重你)=50%
​
如下是呼延灼根据观察概括推理
P(大哥由于看重你才下拜) = 20%
P(大哥不看重你也会下拜) = 80%
​
因而呼延灼最终计算以下
P(大哥看重你|大哥下拜) = 50% x (20% / (20%x50% + 80%x50%)) = 20%

因此从大哥对呼延灼下拜这个能看出来，大哥不看重呼延灼。把大哥看重呼延灼这个几率下调。

3. 结论

一句话归纳贝叶斯思想，就是"观点随着事实而改变"。

若是我能掌握一个事情的所有信息，我固然能计算出一个客观几率（古典几率）。 但是生活中绝大多数决策面临的信息都是不全的，咱们手中只有有限的信息。既然没法获得全面的信息，咱们就在信息有限的状况下，尽量作出一个好的预测。也就是，在主观判断的基础上，你能够先估计一个值（先验几率），而后根据观察的新信息不断修正(可能性函数)。

这就有点像破案，从结果推测原因。你来到案发现场，收集证据（结果）。经过证据的叠加，凶手的特征逐渐清晰。最终你选择“相信”谁是凶手。

贝叶斯说，你对某个假设的“相信”程度，应该用一个几率来表示——P(假设)。

0x03 参考

https://blog.csdn.net/weixin_40920228/article/details/80850489

https://cloud.tencent.com/developer/news/266248

http://www.javashuo.com/article/p-nlhypzmn-ep.html

http://www.javashuo.com/article/p-xobqrdds-ns.html