几率论02

做者：桂。

时间：2018-06-27  06:22:47

连接：http://www.javashuo.com/article/p-njcudwwq-kt.html 

---

接上文：几率论01

如下推理的基础是：切比雪夫不等式，且都要符合独立同分布。  而切比雪夫不等式的前提是：不一样变量具备独立的分布便可。

第五章

1- 大数定律（Law of Large Numbers,LLN）

　　1）随机变量X1，X2，....相互独立

　　2）服从同一分布

　　3）数学指望E（Xk） = mu,k = 1,2,...

则有：

证实：

借助切比雪夫不等式：

P{|x-mu| >= epsilon} <= sigma^2/epsilon^2

假设方差存在，求解方差sigma^2：

【同一分布 + 独立性，才有该性质】

得出：

n->∞，夹逼准则：

大数定律：1）独立同分布；2）具备均值mu，在1）2）条件知足的状况下，随机变量样本数n很大时，他们的算术平均值很是接近指望【依几率收敛】。   大数定律理论上证实了该常识。

 2- 伯努利大数定律（Bernoulli’s Law of Large Numbers）

对于n重伯努利试验，事件A的频率依几率收敛于其几率。 伯努利大数定律为

该问题针对的是n重伯努利试验

证实：

可知mu = np，又fA是事件A发生的次数

fA = X1 + X2 +...

则fA/n = ，指望为p，借助大数定律：

3- 中心极限定理(The Central Limit Theorem (CLT))

中心极限定理：客观实际一般是大量的相互独立的随机因素的综合影响，其中每个别因素在总的影响中所起的做用都是微小的，这种随机变量每每近似服从正态分布，这种现象就是中心极限定理的客观背景。

3.1- 中心极限定理

1）独立同分布；2）均值、方差存在，则对于：

其分布函数为正态分布：

证实：

借助特征函数【见最后附录】

利用特征函数的三个基本性质【3个特性易证，细节略】

1）若n阶矩存在，

2）X = X1 +X2+X3+... Xi知足独立同分布，则特征函数 phei(X) = phei(∑Xi) = phei(X1)phei(X2)phei(X3)...

3）分布函数可由特征函数惟一肯定【即傅里叶变换，时域、频域存在一一对应关系，特征函数为傅里叶变换的共轭】

定义：

以上性质由特征函数1）2）特性求得。

两边取对数，令，根据洛必达法则【洛必达法则证实可由：拉格朗日中值定理或柯西中值定理证实】

又exp(-t^2/2)对应标准正态分布，根据特征函数3），得证。

特征函数与矩、分布函数，均可以创建联系，这方面的运算均可以借助特征函数。

理论细节可参考附件1。

3.2- 李雅普诺夫（Lyapunov）定理

 基本没用到过，略。

该定理不要求具备同分布特性，即方差知足给定约束，大数（n很大）仍然服从正态分布。

3.3- 棣莫弗-拉普拉斯定理（De Moivre-Laplace）

该定理是3.1中心极限定理的特例，此处mu = np, D = sigma^2 = np(1-p)，带入便可。该定理证实了大数状况下，二项分布与正态分布的关系。

 

附录：

特征函数定义：

最开始是母函数，主要为了方便N阶矩的计算而引入：

对于t = 0，有

但母函数可能不存在，如引入特征函数，易证特征函数必定存在。特征函数：

，能够看出这是傅里叶变换的共轭。

对于性质2，可结合二维傅里叶变换来理解：

F(u,v) = 积分1 积分2 f(x,y)exp(-i[xu + yv]) dxdy对于独立的状况 = F(u)*F(v)，多维变量依次类推。

另外，对于正态分布，特征函数为：

性质：

原始表达式为：

可借助常微分方程求解，细节略。

有了MATHMATICA这个工具，像这样的微分，能够借助工具完成：

支持指令输入：

也可直接编辑公式：

可见特征函数存在的前提是方差>0。