几率论与数理统计基础<1>:随机事件与随机变量

时间 2020-06-27

标签几率数理统计基础随机事件变量繁體版

原文原文链接

#Part1. 随机事件 ##1-1.随机试验 随机试验:能够在相同条件下重复进行，每次试验的结果不止一个，事先知道全部可能的结果但不肯定是哪个的试验。举例：重复的抛出一枚均匀的硬币就是一个随机试验，事先知道它的结果，可是不知道到底是正面仍是反面。 函数

##1-2.随机事件定义1：随机试验可能的结果，称为样本空间，它的子集就叫作随机事件。定义2：在必定条件下，可能发生也可能不发生的事件叫作随机事件。举例：抛出硬币后可能正面落地，可能反面落地，那么“抛出硬币后正面落地”就是一个随机事件，它可能发生，也可能不发生。 blog

##1-3.频率与几率 频率：$n$次重复试验，事件A发生的次数为$n_A$，则$n_A/n$就是事件A发生的频率。 **几率：**当重复试验次数n愈来愈大时，事件A发生的频率$n_A/n$就会愈来愈稳定于一个常数；当试验次数趋向无穷大时，频率就等于这个常数，这个常数就被称为几率。几率是一个随机事件的固有属性，它表明一个随机事件发生的可能程度，而频率是一个随机事件在一系列试验中发生的结果状况，是一个统计值。 事件

##1-4.古典概型（等可能概型） 古典概型：若是一个随机试验的结果有限，而且每一种结果发生的可能性相同，那么这个几率模型就是古典概型，也称为等可能概型。 数学

##1-5.条件几率与全几率 条件几率： $$ P(B|A)=\frac{P(AB)} {P(A)}, 其中P(A)>0 $$ 事件A发生的状况下事件B发生的几率，称为条件几率。 全几率： $$ P(A)=P(A|B_1)P(B_1)+P(A|B_2)P(B_2)+…+P(A|B_n)P(B_n) $$ 其中，$B_i \cap B_j= \emptyset,i \neq j,i,j=1,2…n;B_1\cup B_2 \cup … \cup B_n = S.$ it

##1-6.贝叶斯公式 $$ P(B_i|A)=\frac{P(B_iA)}{P(A)}=\frac{P(A|B_i)P(B_i)}{\sum\limits_{j=1}^n{P(A|B_j)P(B_j)}},i=1,2…n. $$ 其中，$P(A)>0,P(B_i)>0(i=1,2…n)$ 变量

##1-7.先验几率与后验几率 先验几率：$P(Y)$ 后验几率：$P(Y|X)$ 先验几率是事前几率，是历史数据统计获得的预判几率；后验几率是一个事件发生后另一个事件发生的几率，是条件几率。举例：根据历史统计数据，这个季节下雨的几率为$P(A)$，而打雷后下雨的几率为$P(A|B)$，前者为先验几率，后者为后验几率。 贝叶斯公式就是一种经过先验几率计算后验几率的方法。 lambda

##1-8.独立事件 相互独立：设A、B是两个随机事件，若是知足$P(AB)=P(A)P(B)$，则称A、B相互独立。 定理1：设A、B是两个随机事件，且$P(A)>0$，则A、B相互独立等价于$P(B|A)=P(B)$。若是两个时间相互独立，那么一个事件是否发生对另外一个事件发生没有影响。 定理2：若是A、B相互独立，则$\bar A$与$B$、$\bar A$与$\bar B$、$A$与$\bar B$均为相互独立事件。 推广到n个事件：设$A_1,A_2,……,A_n$是$n(n \geq 2)$个事件，若是其中任意多个事件的积事件的几率，都等于各事件的几率之积，则称$A_1,A_2,……,A_n$相互独立。 方法

#Part2. 随机变量 ##2-1.随机变量 随机试验可能的结果造成了样本空间S，随机事件就是样本空间S的某个子集，而样本空间S中每一个元素e都会对应一个实数，这种映射关系能够定义为一个函数f(e)，那么这个函数就c称为随机变量。这样定义随机变量：随机变量是随机试验样本空间上的单值实数函数。所以，随机变量的取值是由随机试验的结果肯定，具备几率性。举例：重复的抛出一枚均匀的硬币，其结果多是正面朝上，也能够能是反面朝上，结果可能状况提早知道但不肯定具体是哪一种结果，因此说，这是一个随机试验。 "结果正面朝上"是其中一种结果，是一个随机事件，可能发生，也可能不发生。若是定义“抛出一枚硬币，正面朝上的次数”为X，那么，“结果正面朝上”时，X=1；“结果反面朝上”时，X=0。那么X就是一个随机变量。 im

##2-2.连续型随机变量与离散型随机变量 离散型随机变量：取值能够一一列举，有限个或者可列举的无限多个。 连续型随机变量：取值不能一一列举，可能取值连续的充满了某一区间。 d3

##2-3.离散型随机变量的分布律定义：设离散型随机变量$X$全部可能的取值为$x_k(k=1,2,…)$，X取各个可能值的几率为： $$ P{X=x_k}=p_k,k=1,2,… $$其中$p_k$知足两个条件：1）$p_k \geq 0,k=1,2…$；2）$\sum\limits_{k=1}^\infty{p_k}=1$。能够将分布律用表格表示：

##2-4.随机变量的分布函数定义：设X是一个随机变量，x是任意实数，函数: $$F(X)=P{X \geq x}, -\infty < x < +\infty $$ 称为$X$的分布函数。有如下性质： 1）对于任意实数，$x_1,x_2(x_1 \leq x_2)$，有: $$ P{x_1< X \leq x_2}=P{X \leq x_2}-P{X \leq x_1}=F(x_2)-F(x_1) $$2）$F(X)$是一个不减函数； 3）$F(-\infty)=0,F(+\infty)=0$； 4）$F(X)$是一个右连续函数；

##2-5.连续型随机变量的几率密度函数对于一个连续型随机变量$X$,其分布函数为$F(X)$，若是存在非负函数$f(x)$，而且对于任意实数$x$，有： $$ F(X)=\int_{-\infty}^x {f(t)}{\rm d}t $$那么就称$f(x)$为随机变量$X$的几率密度函数。有如下性质： 1）$f(x) \geq 0$； 2）$\int_{-\infty}^{+\infty} {f(x)}{\rm d}x=1$； 3）对于任意实数$x_1,x_2(x_1 \leq x_2)$，有$P{x_1<X \leq x_2}=F(x_2)-F(x_1)=\int_{x_1}^{x_2} {f(x)}{\rm d}x$； 4）若$f(x)$在点$x$处连续，则有$F'(X)=f(x)$。

##2-6.重要的随机变量分布 ###（1）0-1分布定义：随机变量$X$只可能取两个值：0或者1，分布律为： $$ P{X=x_k}=p^k{(1-p)^{1-k}},k=0,1,其中0<p<1. $$

###（2）二项分布 伯努利试验：某一个试验只有两种可能的结果，独立的进行n次重复试验，称为n重伯努利试验。两个特色：1）重复：两个可能的结果及其几率不变；2）独立：两两试验之间互不影响。定义：随机变量$X$表示n重复伯努利试验中某事件A发生的次数，那么它的几率为： $$ P{X=k}={n \choose k}{p^k}{(1-p)^{n-k}},k=0,1,…,n $$ 其中，$p$为事件A发生的几率。咱们称$X$服从(n,p)的二项分布，当n=1时，即为0-1分布。 ###（3）几何分布定义：随机变量$X$表示n重复伯努利试验中某事件A第一次发生时的试验次数，那么它的几率为： $$ P{X=k}=(1-p)^{k-1}p,k=1,2,… $$ 其中，$p$为事件A发生的几率。咱们称$X$服从几何分布，记为$X~G(p)$。 ###（4）泊松分布定义：随机变量X全部可能取值为0,1,2,…，若是各个取值的几率为： $$ P{X=k}=\frac{\lambda ^k{e^{-\lambda}}}{k!},\lambda > 0 $$ 则称随机变量$X$服从泊松分布，记为$X$~$\pi(\lambda)$。 ###（5）均匀分布定义：若是连续型随机变量X具备几率密度函数： $$ f(x)=\begin{cases} \frac{1}{b-a},\quad a \leq x\leq b\ 0, \quad 其余 \end{cases} $$则称$X$在区间$[a,b]$上服从均匀分布，记为$X$~$U(a,b)$。均匀分布的几率大小只与区间长度有关，与区间位置无关。 ###（6）指数分布定义：若是连续型随机变量X具备几率密度函数： $$ f(x)=\begin{cases} \frac{1}{\theta}e^{-x/\theta},\quad x>0\ 0, \quad 其余 \end{cases} $$其中，$\theta>0$为常数，则称$X$服从参数为$\theta$的指数分布。具备如下性质：对于任意的$s,t>0$，有$P{X>s+t|X>s}=P{X>t}$ ###（7）正态分布定义：若是连续型随机变量$X$的几率密度函数为： $$f(x)= \frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2{\sigma}^2}}, -\infty <x< +\infty $$ 其中$\mu,\sigma(\sigma>0)$为常数，则称X服从参数为$\mu,\sigma$的正态分布（高斯分布），记为$X$~$N(\mu,{\sigma}^2)$。具备如下性质： 1）图像关于$x=\mu$轴对称，$x=\mu$取到最值$\frac{1}{\sqrt{2\pi}\sigma}$； 2）$\sigma$越小，曲线越尖瘦，越大越矮胖。其分布函数为： $$ F(X)=\frac{1}{\sqrt{2\pi}\sigma} \int_{-\infty}^xe^{-\frac{(t-\mu)^2}{2{\sigma}^2}}dt $$标准正态分布：当$\mu=0,\sigma=1$时，随机变量X服从标准正态分布。其几率密度函数为： $$ f(x)=\frac{1}{\sqrt{2\pi}}e^{-\frac{x^2}{2}}, -\infty <x< +\infty $$ 其分布函数为： $$ F(X)=\frac{1}{\sqrt{2\pi}} \int_{-\infty}^xe^{-\frac{t^2}{2}}dt $$ 普通正态分布函数转为标准正态分布函数： $$ F(X)=\Phi(\frac{X-\mu}{\sigma}) $$ $3\sigma$原则：若是一个随机变量服从正态分布$N(\mu,{\sigma}^2)$，那么其99.74%的几率会分布在$(\mu-3\sigma,\mu+3\sigma)$范围内。

##Part3. 随机变量的数学特征 ###3-1.指望指望，又称均值，由随机变量$X$的几率分布肯定。对于一个离散型随机变量$X$，其分布律为$P{X=x_k}=p_k,k=1,2,…$，则其指望为： $$ E(X)=\sum_{k=1}^{+\infty}{x_k}{p_k} $$ 对于一个连续型随机变量$X$，其几率密度函数为$f(x)$，则其指望为： $$ E(X)=\int_{-\infty}^{+\infty} x{f(x)}dx $$ 指望的性质： 1）设$C$为常数，则有$E(C)=C$； 2）设$X$是一个随机变量，C是常数，则有$E(CX)=CE(X)$； 3）设$X,Y$是两个随机变量，则有$E(X+Y)=E(X)+E(Y)$，可推广到任意有限个随机变量之和； 4）设$X,Y$是相互独立的随机变量，则有$E(XY)=E(X)E(Y)$，可推广到任意有限个相互独立的随机变量之积。

###3-2.方差方差，用来度量随机变量X与其均值E(X)之间的偏离程度。D(X)越小表明数据越集中，越大表明数据越分散。 $$ D(X)=Var(X)=E{[X-E(X)]^2} $$ 标准差，或称均方差为$\sigma(X)=\sqrt{D(X)}$。对于一个离散型随机变量，其方差为： $$ D(X)=\sum_{k=1}^{+\infty}{[x_k-E(X)]^2{p_k}} $$ 对于一个连续型随机变量，其方差为： $$ D(X)=\int_{-\infty}^{+\infty} {[x-E(X)]^2}{f(x)}dx $$ 另外，方差与指望之间有以下关系： $$ D(X)=E(X^2)-[E(X)]^2 $$ 方差的性质： 1）设$C$为常数，则$D(C)=0$； 2）设$X$施随机变量，$C$是常数，则有：$D(CX)=C^2{D(X)}, D(X+C)=D(X)$ 3）设$X,Y$是两个随机变量，则有$D(X+Y)=D(X)+D(Y)+2E{(X-E(X))(Y-E(Y))}$ 特别地，若是$X,Y$相互独立，则有$D(X+Y)=D(X)+D(Y)$。

###3-3.协方差与相关系数二维随机变量$(X,Y)$，定义随机变量$X$与$Y$的协方差： $$ Cov(X,Y)=E{[X-E(X)][Y-E(Y)]} $$ 有如下性质： 1）$Cov(X,Y)=Cov(Y,X)$ 2）$Cov(X,X)=D(X)$ 3）$D(X+Y)=D(X)+D(Y)+2Cov(X,Y)$ 4）$Cov(X,Y)=E(XY)-E(X)E(Y)$ 5）$Cov(aX,bY)=abCov(X,Y),a,b$是常数 6）$Cov(X_1+X_2,Y)=Cov(X_1,Y)+Cov(X_1,Y)$ 定义随机变量X与Y的相关系数： $$ \rho_{XY}=\frac{Cov(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}} $$ 有如下性质：$|\rho_{XY}| \leq 1$ $\rho_{XY}$是一个能够用来表征$X,Y$之间线性关系紧密程度的量。当$|\rho_{XY}|$较大时，就认为$X,Y$线性相关程度大；$|\rho_{XY}|$较小时，就认为$X,Y$线性相关程度小；$|\rho_{XY}|$为0时，就认为$X,Y$不相关；$|\rho_{XY}|$为1时，就认为$X,Y$彻底线性相关。 $X,Y$相互独立时，必定不相关；$X,Y$不相关时，则不必定相互独立。

###3-4.原点矩与中心矩设$X,Y$是随机变量， k阶原点矩：$E(X^k),k=1,2,…$ k阶中心矩：$E([X-E(X)]^k),k=2,3,…$ k+l阶混合矩：$E({X^k}{Y^l}),k,l=1,2,…$ k+l阶混合中心矩：$E({[X-E(X)]^k}{[Y-E(Y)]^l}),k,l=1,2,…$ 能够看出：指望E(X)是一阶原点矩，方差D(X)是而阶中心距，协方差Cov(X,Y)是X和Y的二阶混合中心矩。

###3-5.协方差矩阵对于二维随机变量$(X_1,X_2)$，若是它的四个二阶中心矩都存在，记为： $c_{11}=E{[X_1-E(X_1)]^2}$ $c_{12}=E{[X_1-E(X_1)][X_2-E(X_2)]}$ $c_{21}=E{[X_2-E(X_2)][X_1-E(X_1)]}$ $c_{22}=E{[X_2-E(X_2)]^2}$ 将它们排成矩阵形式： $$ \begin{pmatrix} c_{11} & c_{12}\ c_{21} & c_{22} \ \end{pmatrix} $$ 这个矩阵就是随机变量$(X_1,X_2)$的协方差矩阵。推广到$n$维随机变量$(X_1,X_2,…,X_n)$的二阶混合中心矩，若是： $c_{ij}=Cov(X_i,Y_j)=E{[X_i-E(X_i)][X_j-E(X_j)]},i,j=1,2,…$ 都存在，则称矩阵： $$ \begin{pmatrix} \begin{array}{cccc} c_{11} & c_{12} & \dots & c_{1n}\ c_{21} & c_{22} & \dots & c_{2n}\ \vdots & \vdots & &\vdots\ c_{n1} & c_{n2} & \dots & c_{nn}\ \end{array} \end{pmatrix} $$ 为$n$维随机变量$(X_1,X_2,…,X_n)$的协方差矩阵。

###3-5.重要分布的数学特征 0-1分布：指望$p$、方差$p(1-p)$ 二项分布：指望$np$、方差$np(1-p)$ 几何分布：指望$\frac{1}{p}$、方差$\frac{1-p}{p^2}$ 泊松分布：指望$\lambda$、方差$\lambda$ 均匀分布：指望$\frac{a+b}{2}$、方差$\frac{(b-a)^2}{12}$ 指数分布：指望$\theta$、方差${\theta}^2$ 正态分布：指望$\mu$、方差${\sigma}^2$