几率论01

做者：桂。

时间：2018-06-26  22:38:04

连接：http://www.javashuo.com/article/p-ydmskmrk-ho.html 

---

前言

系统回顾数学知识，并学习补充相应的内容。随手记录在博客里，初步打算：

• 几率论与数理统计
• 高等数学
• 线性代数
• 矩阵论
• 数值优化
• 动态规划
• 运筹学
• 凸优化
• 随机过程

都是硬骨头，慢慢啃吧。

 1、几率论与数理统计

浙江大学 第四版。

第一章

1- 肯定性现象 / 不肯定性现象。  —> 个别试验结果不肯定，大量重复试验具备统计规律：随机现象。

2- 古典概型：又称等可能概型，特色：1）样本空间元素个数有限，2）每一个基本时间等可能。

3- 排列、组合：

排列-permutation/Arrangement，故对应$A^m_n$，分为有放回、无放回。

组合-Combination，故对应$C^m_n$，分为有放回、无放回。

两者区别：排列需考虑元素之间的顺序，而组合没必要考虑。

其实数独、拼图也都是组合，由此想到平时把各类信息罗列起来，有助于分析判断。

4- 条件几率：conditonal probability，P（A|B） = P(AB)/P(B)

对于互不相容的事件，P（U B_i | A） = ∑P(B_i A)/P(A)

通常地，P(B U C |A) = P(B|A)+P(C|A)-P(BC|A)，几率性质不受条件限制。

5- 乘法公式：

直观理解：先有老大，老大基础上再有老二，老大老二基础上再有老三，以此类推。

6- 全几率公式：

7- 贝叶斯公式：

 

贝叶斯能够看做权重。

对比分析：

　　全几率： 因 -> 果；

　　贝叶斯： 果 -> 因；

贝叶斯应用的示例：

线索1：心情好 —— 按时吃饭几率为95%

线索2：心情很差——按时吃饭几率为50%

线索3：平时心情好的几率为90%

线索4：今早按时吃饭

推断：今天心情好的几率？

 8- 独立性

P(AB)=P(A)P(B)，即几率上不受条件影响，天然相互独立。该定义与 互斥 不一样。

---

第二章

1- 离散：分布率 + 几率   连续：分布函数 + 几率密度

2- 几种常见分布

这个须要梳理一下，

最基本的：0-1分布

 

独立重复n次0-1试验，成为n重伯努利试验，发生k次的几率为组合问题：

，记为服从参数n,p的二项分布，也称伯努利分布。

当n->∞，【一段时间n等分，事件发生λ次】得：

从而获得泊松分布：

泊松分布的均值方差都是λ，即np = np(1-p)，所以p -> 0 才行。

例如平时打游戏，一段时间内，怪物出现的个数是固定的，但怪物出现的时间是随机的，设定的时候怪物须要服从泊松分布。

更通常地，一段时间内平均发生λ次，该类模型都符合泊松分布。

容易证实：泊松分布相邻事件发生的间隔，符合指数分布。

泊松分布针对的是离散事件，事件n趋于无穷大，则时间间隔趋于无穷小，可认为是连续：

证实：

对于泊松分布：

假设：

这里用到斯特林公式【斯特林公式推导.pdf】:

借助斯特林公式（ Stirling’s formula）泊松分布的分布n!可表述为:

泊松分布进一步表述为：

因为：

泊松分布：

又由于

从而：

可不就是正态分布吗？

能够进一步推出：泊松分布的均值、方差都是λ，所以：泊松分布极限状况得出的正态分布：该正态分布均值、方差相等。

更多细节可参考：附件。

存疑：平时分析信号特性，一般假设噪声为高斯白噪声，即噪声统计特性符合正态分布，但采样信号已是离散信号，假设服从泊松分布更合理？

归纳：

0-1分布 —> 二项分布 —> 泊松分布【指数分布】 —> 正态分布【也可由中心极限定理推出】

正态分布是全部分布趋于极限大样本的分布，属于连续分布。二项分布与泊松分布，则都是离散分布，二项分布的极限分布是泊松分布、泊松分布的极限分布是正态分布，即np=λ，当n很大时，能够近似相等。当n很大时（还没达到连续的程度），能够用泊松分布近似代替二项分布；当n再变大，几乎能够当作连续时，二项分布和泊松分布均可以用正态分布来代替。

3- 复合函数的几率密度

证实：

对于h'(y)>0，F（Y<y） = F(g(X)<y) = F(X<h(y))

[F(X<h(y))]‘ = fx[h(y)]h'(y)，得证。其余状况相似。

---

第三章

 二维联合几率分布，略。

第四章

1- 数学指望

复合：

证实：

 二维同理：

2- 方差

3- 切比雪夫（Chebyshev）不等式

证实：

 

无需知道分布状况，只需知道一阶矩、二阶矩，借助切比雪夫估计几率P{|X-mu| >= epsilon} 的上界

4- 协方差与相关系数

方差体现的是：数据围绕指望的波动状况。

协方差体现的是：

两个变量之和的方差与各自方差的差，也可从相关系数角度理解：表征了不一样变量的相关性。

5- 混合矩

6- 中心矩

7- 协方差矩阵

8- 多维正态分布