几率统计13——二项分布与多项分布

原文 | https://mp.weixin.qq.com/s/bOchsmHTINKKlyabCQKMSg

相关阅读

最大似然估计(几率10)

寻找“最好”（3）函数和泛函的拉格朗日乘数法

伯努利分布

　　若是随机试验仅有两个可能的结果，那么这两个结果能够用0和1表示，此时随机变量X将是一个0/1的变量，其分布是单个二值随机变量的分布，称为伯努利分布。注意伯努利分布关注的是结果只有0和1，而无论观测条件是什么。

性质

　　设p是随机变量等于1的几率，伯努利分布有一些特殊的性质：

　　将上面的两个式子合并：

　　伯努利变量是离散型，而且是一个0/1变量，它的数学指望是：

　　方差是：

极大似然

　　最大似然估计(几率10)

　　对于伯努利分布的质量函数来讲，p是惟一的参数。若是给定N个独立同分布的样本 {x⁽¹⁾, x⁽²⁾, ……, x^(N)}，x^(t)是投硬币的结果，是随机变量，x^(t)ϵ{0, 1}，能够经过极大似然估计，根据样本推测出p的取值：

　　取对数似然函数：

　　这是个符合直觉的结果，即便没学过几率和极大似然也能得出这个结论。

二项分布

　　假设某个试验是伯努利试验，成功几率用p表示，那么失败的几率为1-p。如今进行了N次这样的试验，成功了x次，失败了N-x次，发生这种状况的几率是多少？

质量函数

　　对于每次实验来讲，成功的几率都是p，失败的几率是1-p。假设已经完成了N次试验，而且前x次都成功了，后N-x次都失败了：

　　x次成功的状况固然不止一种，好比成功和失败交叉在一块儿：

　　这种成功和失败的排列顺序共有种不一样的状况，所以对于任意N次伯努利试验，成功了x次的几率是：

　　的另外一种记法是 。

　　P(x)就是二项分布的质量函数，是N次伯努利试验中取得x次成功的几率。

性质

　　二项分布的均值和方差分别为Np和Np(1-p)。

　　从二项分布的质量函数P(x)可知，几率分布只与试验次数N和成功几率p有关，p越接近0.5，二项分布将越对称。保持二项分布试验的次数N不变，随着成功几率p逐渐接近0.5，二项分布逐渐对称，且近似于均值为Np、方差为Np(1-p)的正态分布：

多项分布

　　多项分布是二项分布的扩展，其中随机试验的结果不是两种状态，而是K种互斥的离散状态，每种状态出现的几率为p_i，p₁ + p₁ + … + p_K = 1，在这个前提下共进行了N次试验，用x₁~x_K表示每种状态出现次数，x₁ + x₂ + …+ x_K = N，称X=(x₁, x₂, …, x_K)服从多项分布，记做X~PN(N：p₁, p₂,…,p_n)。

质量函数

　　若是说二项分布的典型案例是扔硬币，那么多项分布就是扔骰子。骰子有6个不一样的点数，扔一次骰子，每一个点数出现的几率（对应p₁~p₆）都是1/6。重复扔N次，6点出现x次的几率是：　　

　　这和二项分布的质量函数相似。如今将问题扩展一下，扔N次骰子，1~6出现次数分别是x₁~x₆时的几率是多少？

　　仍然和二项式相似，假设前x₁次都是1点，以后的x₂次都是2点……最后x₆次都是6点：

　　1~6出现次数分别是x₁~x₆的状况不止一种，1点出现x₁次的状况有种；在1点出现x₁次的前提下，2点出现x₂次的状况有种；在1点出现x₁次且2点出现x₂次的前提下，3点出现x₃的状况有种……扔N次骰子，1~6出现次数分别是x₁~x₆时的几率是：

　　根据①：

　　最终，扔骰子的几率质量函数是：

　　把这个结论推广到多项分布：某随机实验若是有K种可能的结果C₁~C_K，它们出现的几率是p₁~p_K。在N随机试验的结果中，分别将C₁~C_K的出现次数记为随机变量X₁~X_K，那么C₁出现x₁次、C₂出现x₂次……C_K出现x_K次这种事件发生的几率是：

　　其中x₁ + x₂ + …+ x_K = N，p₁ + p₂ + …+ p_K = 1。

极大似然

　　多项式的极大似然是指在随机变量X₁=x₁, X₂=x₂, ……, X_K=x_K时，最可能的p₁~p_K。

　　对数极大似然：

　　如今问题变成了求约束条件下的极值：

　　根据拉格朗日乘子法：

　　寻找“最好”（3）函数和泛函的拉格朗日乘数法

　　根据约束条件：

　　这也是个符合直觉的结论。面对有N个样本的K分类数据集，当p_i = x_i/N 时，C_i类最可能出现x_i次。为了这个结论咱们却大费周章，也许又有人所以而嘲笑几率简单了……

---

　　出处：微信公众号 "我是8位的"

　　本文以学习、研究和分享为主，如需转载，请联系本人，标明做者和出处，非商业用途！ 

　　扫描二维码关注做者公众号“我是8位的”