【数理统计基础】 02 - 统计量和三大分布

1. 样本和统计量

1.1 样本和统计量

　　数理统计讨论的问题不必定都是随机现象，好比人口信息的统计、具体数据的测量，它们的结果都是肯定的。但实际问题的操做并非数学所关心的，剥离问题的外壳，这些问题均可以用随机现象来描述，好比人口信息和测量偏差均可以用一个正态分布来近似。创建统计的几率模型，正是数理统计区别于广义统计学的关键，为模型定义统1、明确的对象也是任何数学分支的起点。

　　既然这样，数理统计的研究对象其实仍是随机变量，具体问题中全部可能的取值被称为全体，而每个值称为个体。不一样于几率论中研究分布的性质，统计中的分布信息每每是未知的，这样的随机变量习惯写做\(X\)。为了获得\(X\)的更多信息，须要采集它的观察值\(X_1,X_2,\cdots,X_n\)，它们称为样本。通常假定\(X_i\)是与\(X\)同分布的独立随机变量，具体样本值则记做\(x_i\)。

　　统计问题中的主要信息就是样本值\(X_i\)，能对它进行的处理只有函数计算\(f(X_1,\cdots,X_n)\)，这些函数值被称为样本统计量。统计量不能任意选取，它须要根据实际须要并通常有直观意义。好比最经常使用的统计量是式（1）中的样本均值\(\bar{X}\)和样本方差\(S^2\)，它们通常做为分布的均值和方差的估计值。

\[\bar{X}=\frac{1}{n}\sum\limits_{i=1}^nX_i;\;\;S^2=\frac{1}{n-1}\sum\limits_{i=1}^n(X_i-\bar{X})^2\tag{1}\]

　　既然样本是随机变量，统计量天然也是随机变量。若是\(X\)的指望和方差是\((\mu,\sigma^2)\)，则易知\(\bar{X}\)是有指望\(\mu\)和方差\(\dfrac{\sigma^2}{n}\)的随机变量。不难算得，\(S^2\)的指望值正好是\(\sigma^2\)，全部系数取\(\frac{1}{n-1}\)是合理的，\(S^2\)的完整称谓是“修正的样本方差”。咱们暂时能够这样“直觉”地解释这个现象：均值\(\bar{X}\)是由\(X_i\)生成的，它会随着\(X_i\)的变更而变更，这就致使真正自由、有效的变量减小了一个。下面立刻会回来从新讨论这个问题。

　　更通常的，比较重要的统计量还有样本原点矩和样本中心距（式（2）），要注意\(k>1\)时，样本中心距都须要修正，只不过在\(n\)很大时能够近似地使用。其中一阶原点矩即是样本均值，二阶中心距即是未修正的样本方差，其它的统计量使用频率不高。

\[a_k=\frac{1}{n}\sum\limits_{i=1}^nX_i^k;\;\;m_k=\frac{1}{n}\sum\limits_{i=1}^n(X_i-\bar{X})^k\tag{2}\]

　　研究统计量是为了获取分布的信息，咱们有一个很朴素的想法：当样本数足够多后，应当能绘制出分布函数\(F(x)\)的图形。根据分布函数的定义特色，能够定义这样一个统计量\(v_n(x)\)：它表示知足\(X_i\leqslant x\)的样本数，并记\(F_n(x)=\dfrac{v_n(x)}{n}\)，它称为经验分布函数。对于指定的\(x\)，\(F_n(x)\)是随机变量，当把\(x\)也看做变量时，咱们只好叫\(F_n(x)\)“随机函数”。不过不用担忧概念会变复杂，由于\(|F_n(x)-F(x)|\)的最大值才是咱们要关心的，而它是一个随机变量。数理统计中有著名的格里文科定理（式（3）），它说明\(F_n(x)\)以几率\(1\)收敛于\(F(x)\)。

\[P\left\{\lim_{n\to\infty}\sup_{x\in\mathbb{R}}\left|F_n(x)-F(x)\right|=0\right\}=1\tag{3}\]

1.2 统计量的自由度

　　在几率论中咱们熟知一个结论：若是\(X_1,\cdots,X_n\)互相不相关，则\(Y=X_1+\cdots+X_n\)的指望、方差能够简单地展开。\(n\)个\(X_i\)对\(Y\)的影响互不相关，这样的统计量十分易于讨论，咱们暂且称它的自由度是\(n\)。下面就来研究一下样本方差的自由度为何是\(n-1\)而不是\(n\)，不过在此以前，须要先讨论一下随机变量正交变换的性质。

　　对互不相关的随机变量\(X_i\)，设对它们作正交线性变换后获得\(Y_i\)，则首先容易获得式（4）。而后分别展开\(E(Y_iY_j)\)和\(E(Y_i)E(Y_j)\)，根据正交性，以及\(X_i\)独立同分布，容易有式（5）成立，因此\(Y_i\)互不相关。这个结论对任何随机变量都成立，且也符合正交变换的一向性质。

\[(X_1,\cdots,X_n)=(Y_1,\cdots,Y_n)A;\,AA^T=I\;\Rightarrow\;\sum_{i=1}^nX_i^2=\sum_{i=1}^nY_i^2\tag{4}\]

\[E(Y_iY_j)-E(Y_i)E(Y_j)=\sum_{k=1}^na_{ki}a_{kj}(E(X_k^2)-E^2(X_k))=0\tag{5}\]

　　特别地，式（6）左的\(Y_1\)能够扩展为一个正交变换，利用式（4）即可获得式（6）右的结论。这不只说明了\(S^2\)的自由度为\(n-1\)，还能够知道\(\bar{X}\)和\(S^2\)是不相关的，这个结论很是重要。

\[Y_1=\sqrt{n}\bar{X}\;\Rightarrow\;\sum_{i=1}^n(X_i-\bar{X})^2=\sum_{i=1}^nX_i^2-Y_1^2=\sum_{i=2}^nY_i^2\tag{6}\]

　　对于知足再生性的随机变量，\(Y_i\)和\(X_i\)具备相同的分布类型，且可知知足式（6）的\(Y_1\)有指望\(\sqrt{n}\mu\)和方差\(\sigma^2\)，而其它\(Y_i\)有指望\(0\)和方差\(\sigma^2\)。特别地，当\(X_i\)是正态分布时，能够有式（7）成立，且\(\bar{X}\)与\(S^2\)相互独立。对\(\bar{X}\)的结论，通常写做式（8），右边是一个肯定的分布（后面会用到）。

\[X_i\sim N(\mu,\sigma^2)\;\Rightarrow\;Y_1\sim N(\sqrt{n}\mu,\sigma^2);\; Y_i\sim N(0,\sigma^2)\tag{7}\]

\[\dfrac{\sqrt{n}(\bar{X}-\mu)}{\sigma}\sim N(0,1)\tag{8}\]

　　更通常地，对于自由度为\(n\)的随机变量\(Q=X_1^2+\cdots+X_n^2\)，其中\(X_i\)互不相关。如今把\(Q\)当作\(X_i\)的正定二次型，并记行向量\(\vec{X}=[X_1,\cdots,X_n]\)。假设\(Q\)能够分解为\(r\)个半正定二次型之和（式（9）左），且\(Q_k\)的秩\(n_k\)知足\(n_1+\cdots+n_r=n\)。由\(A_k\)的秩为\(n_k\)且半正定可知，存在\(n\times n_k\)的矩阵\(B_k\)，使得\(Q_k=\vec{X}B_kB_k^T\vec{X}^T\)。

\[Q=Q_1+\cdots+Q_r=\vec{X}BB^T\vec{X}^T=\vec{Y}\vec{Y}^T\tag{9}\]

　　令方阵\(B=[B_1,\cdots,B_r]\)和\(\vec{Y}=\vec{X}B\)，则有\(Q=\vec{Y}\vec{Y}^T\)（式（9）右），从而\(BB^T=I_n\)，\(B\)是一个正交矩阵。由于\(Y_j\)是由\(X_i\)正交变换而来，故根据式（5）知\(Y_j\)互不相关，继而\(Q_k\)之间是互不相关的。值得提醒的是，当\(Q\)也是通常的半正定二次型时，结论仍然成立，这个条件使用起来会更方便，请自行论证。

　　如今利用这个结论再讨论\(S^2\)的自由度，首先显然有式（10）成立，其中的每一项都是关于\(X_i\)的半正定二次型。当半正定二次型具备形式\(\sum\limits_{i=1}^nZ_i^2\)，且\(Z_i\)还有\(r\)个线性约束条件时，它本质上是关于\(n-r\)个自由变量的正定二次型，从而秩为\(n-r\)。这个小结论在断定二次型秩时颇有用，好比\(S^2\)中设\(Z_i=X_i-\bar{X}\)，则有\(1\)个限制条件\(Z_1+\cdots+Z_n=0\)，从而\(S^2\)的秩为\(n-1\)。另外显然式（10）左的秩为\(n\)，\(\bar{X}\)的秩为\(1\)，知足以上定理的条件，故有\(S^2,\bar{X}\)不相关。

\[\sum_{i=1}^nX_i^2=n\bar{X}^2+(n-1)S^2\tag{10}\]

2. 统计学三大分布

　　统计量也是随机变量，各类形式的统计量会产生许多新的随机变量，这些变量中的有些是常常出现的，有必要事先对它们作一些介绍。由于正态分布适用的场合最为普遍，这里的统计学三大分布都是基于正态分布的。

2.1 \(\chi^2\)（卡方）分布

　　在介绍\(\chi^2\)分布以前，先讨论一个更通常的分布。将埃尔朗分布中的\(r\)扩展为任意正实数，获得的分布（11）称为\(\varGamma\)分布，通常记做\(\varGamma(r,\lambda)\)。式子中的\(\varGamma(r)\)确保了\(p(x)\)为密度函数，它被称为\(\varGamma\)函数。\(\varGamma\)函数在实数域是个\(U\)形函数，它有式（12）的基本结论，因为\(\varGamma(n)=(n-1)!\)，它也被当作是阶乘概念的扩展。

\[p(x)=\dfrac{\lambda^r}{\varGamma(r)}x^{r-1}e^{-\lambda x},\;\varGamma(x)=\int_{-\infty}^{+\infty}t^{x-1}e^{-t}\,\text{d}t\tag{11}\]

\[\varGamma(x+1)=x\varGamma(x);\;\;\varGamma(1)=1,\;\varGamma(\dfrac{1}{2})=\sqrt{\pi}\tag{12}\]

　　\(\varGamma\)分布具备和埃尔朗分布一样的特征函数，而且也知足再生性。这里不打算讨论\(\varGamma\)分布的更多性质，而是关注它的一类特例。假设\(X\sim N(0,1)\)，能够证实\(X^2\sim\varGamma(\dfrac{1}{2},\dfrac{1}{2})\)，这是个奇妙的巧合！若是\(X_1,\cdots,X_n\)是独立的标准状态分布，利用再生性有式（13）成立，它被称为自由度为\(n\)的\(\chi^2\)（卡方）分布，记做\(\chi_n^2\)。

\[X_i\sim N(0,1)\;\Rightarrow\;\sum_{i=1}^nX_i^2\sim\varGamma(\dfrac{n}{2},\dfrac{1}{2})=\chi_n^2\tag{13}\]

　　上图是\(\chi^2\)分布的密度函数，\(n=1\)时即是\(X^2\)，它有两条渐近线，\(n=2\)时是指数分布，\(n>2\)时分布曲线相似但愈来愈扁平。容易算得\(\chi_1^2\)有指望\(1\)和方差\(2\)，这就获得\(\chi_n^2\)分布的指望和方差（式（14））。继续上面对\(S^2\)的讨论，因为\(Y_i\sim N(0,\sigma^2)\)，能够获得\(S^2\)知足式（15）。另外若是\(X\)是指数函数，显然有\(2\lambda X\sim\chi_2^2\)。

\[Y\sim \chi_n^2\;\Rightarrow\;E(Y)=n;\;D(Y)=2n\tag{14}\]

\[\dfrac{(n-1)S^2}{\sigma^2}\sim\chi_{n-1}^2\tag{15}\]

　　\(\chi^2\)分布的引入无非是为了讨论样本方差的性质，这个分布中不含有任何未知的参数，这种肯定的分布很是便于几率的量化计算。但在量化分析的表达式中，不该该含有未知的参数（样本值\(X_i\)、样本容量\(n\)等属于已知量），这样的表达式通常称为枢轴变量。简单说，枢轴变量由已知量组成，且造成一个肯定的分布，这个之后会深刻讨论。

　　通常教材上自由度的概念定义在随机变量\(Q=X_1^2+\cdots+X_n^2\)上，其中\(X_i\)是独立的标准正交分布。若是\(Q\)能够分解为\(k\)个半正定二次型，且秩的和为\(n\)，则根据前面关于自由度的结论，变换矩阵\(B\)为正交矩阵，从而\(Y_i\)也是互相独立的正交分布。进而\(Q_k\)是自由度为\(n_k\)的卡方分布，且它们互相独立。这个结论称为柯赫伦（Cochran）分解定理，在数理统计中有着很是广泛的应用。

2.2 \(t\)分布

　　公式（8）中参数\(\sigma\)每每是未知的，这会给分析带来困难，这时能够用\(S\)能够作为\(\sigma\)的近似。令\(X,Y\)分别表明式（8）（15）中的变量，消除\(\sigma\)后就造成变量\(\dfrac{X}{\sqrt{Y/(n-1)}}\)。这应当是咱们要关心的数轴变量，它的分布是肯定，为了便于讨论研究，须要为它做个定义。通常地，式（16）中的分布被称为自由度为\(n\)的\(t\)分布，记做\(t_n\)。下图是其密度函数，有人已经证实，当\(n\to\infty\)时，\(t\)分布收敛于正态分布，这也是符合直觉的。

\[X\sim N(0,1);\;Y\sim \chi_n^2\;\Rightarrow\;\dfrac{X}{\sqrt{Y/n}}\sim t_n\tag{16}\]

　　再回到对式（8）（15）的讨论，显然有式（17）成立，这个结论之后常常用到。关于（17）式我想强调一下，式中好像是用\(S\)取代了\(\sigma\)，这只是巧合而已，不要忘了其背后原理仍是（8）（15）的结合。是由于\(\sigma\)恰巧被消掉才出现了式（17），遇到更复杂的状况时，要从新仔细计算（下一篇将遇到）。

\[\dfrac{\sqrt{n}(\bar{X}-\mu)}{S}\sim t_{n-1}\tag{17}\]

2.3 \(F\)分布

　　还有一种常见的场景，就是比较两个分布的方差比\(\sigma_1^2/\sigma_2^2\)。一样利用\(S_i^2\)近似\(\sigma_i^2\)，并利用公式（15）能够进行相似的讨论。为此，将式（18）中的分布被称为自由度为\(m,n\)的\(F\)分布，记做\(F_{m,n}\)，下图是它的密度函数。

\[X\sim\chi_m^2;\;Y\sim\chi_n^2\;\Rightarrow\;\dfrac{X/m}{Y/n}\sim F_{m,n}\tag{18}\]

　　回到方差的比较，设\(X,Y\)的方差分别为\(\sigma_1^2,\sigma_2^2\)，样本容量分别为\(m,n\)，样本方差分别为\(S_1^2,S_2^2\)，容易知道有式（19）成立。

\[\dfrac{S_1^2}{S_2^2}\cdot\dfrac{\sigma_2^2}{\sigma_1^2}\sim F_{m-1,n-1}\tag{19}\]

　　数理统计中使用分布函数时，和几率论中是相反的，即根据几率值来肯定随机变量的值。知足\(P(X>C)=\alpha\)的\(C\)被称为分布的\(\alpha\)上分位点，对于正态分布和上面的三大分布，\(\alpha\)上分位点分别记做\(u(\alpha),\chi_n^2(\alpha),t_n(\alpha),F_{m,n}(\alpha)\)。其中\(t_n,F_{m,n}\)有式（20）的简单性质，它们在计算和制表中比较有用，证实比较简单，请自行验证。

\[t_n(1-\alpha)+t_n(\alpha)=0;\;\;F_{m,n}(\alpha)\cdot F_{n,m}(1-\alpha)=1\tag{20}\]