几率论与数理统计中基于有限样本推断整体分布的方法，基于整体未知参数区间估计的假设检验方法之讨论，以及从数理统计视角从新审视线性回归函数本质

1. 整体与样本

0x1：数理统计中为何要引入整体和个体这个概念

几率论与数理统计中，一个很重要的研究对象就是整体的几率分布，理论上说，咱们但愿得到被研究对象的整体样本，基于这份整体样本进一步研究其几率分布，可是遗憾地是，几乎在100%的状况下，咱们都不可能得到真正的整体，咱们只能获取有限的样本量（例如天然生物里的统计问题），有时候甚至仍是很是少的小样本集（例如宇宙星体观测结果），如何有效、准确、偏差可控地利用有限的样本集，进行最大程度合理的统计推断，既是一个理论研究课题，也是很是有现实意义的应用理论。

所以几率论与数理统计科学家们提出了整体和个体这个概念，主要观点以下：

• 在大数定律的理论支撑下，只要咱们的我的样本数足够多，我的样本的统计量会在趋近于1的几率下，趋近于整体样本的统计量。这就是咱们在没有完整整体样本的状况下，依然可以利用几率论与数理统计这个强大的武器，对未知的事物开展统计研究的理论依据。
• 一样在大数定律的理论支撑下，即便样本数不够多，基于有限的样本数获得的估计结果，和理论整体之间的偏差，也能够能够经过几率分布统计量的形式，定量地给出的，这给统计推断的不肯定性决策提供了基础。

0x2：整体与样本

1. 整体的形式定义

在一个统计问题中，咱们把研究对象的全体称为整体，也即样本空间全集，构成整体的每一个成员称为个体，也即样本子集。

对于具体问题中，咱们将研究对象的某个数量指标值（例如身高）的全体称为整体，每个整体都是由一组数据组成的，所以能够用一个几率分布描述，因此说整体数量指标就是服从一个分布的随机变量。

咱们用大写字母X表示整体，那么整体X就是具备未知分布函数F(x)的一个随机变量。

2. 样本的形式定义

在数理统计中，整体分布永远是未知的。因此咱们但愿从客观存在的整体中按必定的规则选取一些个体（即抽样），经过对这些个体做观察或测试来推断关于整体分布的某些统计量（例如整体X的均值、方差、中位数等），被抽取出的这部分个体就组成了整体的一个样本。

这里所谓的”必定规则“，是指保证整体中每个个体有同等的机会被抽到的规则。

在整体中抽取样本的过程称之为”抽样“，抽取规则则称之为”抽样方案“。在大部分时候，咱们都采用简单随机抽样，表示对整体的每个抽样，整体中的全部个体都有相同的被选几率，用这种抽样方案获得的样本称为简单随机样本。

因为在观测前，样本观测值是不肯定的，因此样本是一组随机变量（或随机向量），为了体现随机性，用大写字母（X1，X2，....，Xn）表示，其中n为样本的大小，称之为样本容量。

一旦给定的简单随机抽样方案实施后，样本就是一组数据，用小写英文字母（x1，x2，...，xn）表示，也称为样本观测值。

简单随机样本具备下列两个特性：

• 1）相互独立性：X1，X2，...，Xn相互独立，样本中每一个个体的取值不受到其余个体取值的影响
• 2）表明性：Xi 同整体分布（Xi ~ f(xi；θ)），整体中的每个个体都有同等机会被选入样本

3. 样本的联合分布几率函数公式

咱们知道，简单随机样本表示X1，X2，...，Xn是独立同分布的随机变量，且每个 Xi 的分布都与整体X的分布相同，所以咱们能够根据几率论中多维随机变量分布的性质获得样本的联合分布以下：

1）离散型随机变量

设整体X是一个离散型随机变量，分布律为P(X=x；θ)，样本(X1，X2，....，Xn)的联合分布律为：

2）连续型随机变量

设整体X是一个连续型随机变量，密度函数为f(x；θ)，样本(X1，X2，....，Xn)的联合密度函数为：

样本的联合分布累乘公式是一个很是基础且重要的公式，是不少下游算法的公式基础，它表达了一个最质朴的几率论思想，即：任何复杂的事物均可以分解为多个复杂度更低的子事件，全部子事件同时发生等同于复琐事物发生，而全部独立同分布的子事物同时发生在几率论中又等价于全部子事物的几率逐个累乘。即P(AB) = P(A)*P(B)。

样本的联合分布几率函数公式，在模型参数估计、NLP语言模型建模等领域中都有普遍应用。

3）样本联合分布函数举例说明

设整体X~B(1，p)，（X1，X2，...，Xn）为取自该整体的一个样本，求样本（X1，X2，...，Xn）的联合分布律f(x1，x2，...，xn；p)

在几率分布函数的讨论中，咱们的讨论对象每每是在某个肯定的几率函数前提下，某个点或某个区间的肯定性几率问题。而在样本联合分布几率函数的讨论中，咱们的讨论对象是多个相同的几率分布函数叠加在一块儿，综合而成的一个新的几率分布函数。它们两者之间有点像个体与群体的关系。

Relevant Link: 

《几率论与数理统计》同济大学数学系 第6章 第一节 

 

2. 样本随机变量的统计量 

0x1：为何要研究样本的统计量

数理统计中最重要的部分就是研究样本的几率分布，也即抽样分布。

抽样分布也是一种随机变量，所以天然也有对应的几率密度函数以及几率分布函数。但其实对抽样分布的几率分布函数的研究并非十分重要，或者说相比于抽样分布的统计量研究来讲不是那么重要。

咱们研究样本的核心目的在于估计整体分布的形式和参数，而抽样分布的统计量，是链接抽样分布和整体分布之间的桥梁，基于抽样样本的统计推断是基于抽样统计量做出的，因此研究抽样分布的统计量是统计推断中一个十分重要的环节。

0x2：样本统计量 - 链接样本和整体未知参数推断之间的桥梁

数理统计的基本任务之一是利用样本所提供的信息来对整体分布中未知的量进行推断，简单来讲，就是由样本推断整体。

可是，样本经常表现为一组数据，很难直接用来解决咱们所要研究的具体问题，人们经常把数据加工成若干个简单明了的数字特征，由数据加工后的数字特征就是统计量。因此说统计量综合了样本的信息，是统计推断的基础。统计量的选择和运用在统计推断中占核心地位。

1. 样本统计量基本定义

设（X1，X2，...，Xn）为取自整体的一个样本，样本（X1，X2，...，Xn）的函数为g(X1，X2，...，Xn)，若g中不直接包含整体分布中的任何未知参数，则称g(X1，X2，...，Xn)为统计量。统计量本质上也是一种随机变量。

在抽样前，统计量是一个随机变量，在抽样后，获得样本（X1，X2，...，Xn）的一次观测值（x1，x2，...，xn），则所得的g(x1，x2，...，xn)即为统计量的一次观测值。它是一个能够由数据算得的实数。

统计量自己不包含整体分布中的未知参数，咱们构造统计量的主要目的就是去估计整体分布中的未知参数。

2. 一些经常使用的样本统计量

1）样本均值

设(X1，...，Xn)是一个样本，称：

为样本均值。 

2）样本方差

称：

为样本方差。

称：

为样本标准差。

3）k阶原点矩

通常地，对任意一个正整数k，称：

为样本的k阶原点矩。特别的，当k=1时，k阶原点矩退化为样本均值。

4）k阶中心矩

称：

为样本的k阶中心矩。

特别的，当k=2时，二阶中心距M2为：

二阶中心矩M2和样本方差的关系为：

显然，样本方差比样本的二阶中心矩更大一些，有的教材上也称样本方差S为样本无偏估计，称二阶中心矩为有偏估计。

5）词序统计量

词序统计量X(1)，X(2)，...，X(n)是X1，X2，...，Xn由小到大排序获得的，加圆括号的下标表示排序。

设（X1，X2，...，Xn）是取自整体X的一个样本，整体X的密度函数为。

样本中取值最小的一个记为，即，称为最小次序统计量。

样本中取值最大的一个记为，即，称为最大次序统计量。

称为第i次序统计量，i=1，2，...，n，知足：

记和的密度函数分别为和，由几率密度函数的定律可得：

次序统计量本质上是基于原始的几率分布进行了一个函数映射后，获得了一个新的几率分布函数，那么这个新的几率分布函数的形式和原始几率分布函数是什么关系呢？咱们以指数分布为例，来具体讨论下。

设（X1，X2，...，Xn）是取自整体X的一个样本，整体X~E(λ)，分别求次序统计量，的分布。

整体X~E(λ)，因此密度函数为：

分布函数为：

根据最小次序统计量的几率密度函数分布式可得：

即：

根据最大次序统计量的几率密度函数分布式可得：

3. 经常使用样本统计量的性质

因为统计量是样本（X1，X2，...，Xn）的函数，所以统计量也是随机变量，所以统计量也一样具有随机变量的一些性质。而考察随机变量的性质，本质上就是用各类统计量来描述随机变量，因此咱们一样能够用随机变量的统计量来考察统计量自己，即统计量自己的统计量。

1）样本均值的统计性质

这个公式要这么理解，咱们将样本均值做为一个随机变量，将每次抽样看作一次观测，则在屡次观测下，样本均值自己呈现出的均值和方差的统计规律。

样本均值的均值仍是均值，样本方差的均值，随着样本数n的增大而负向减少。

该性质代表：样本集能够必定程度上代替整体，实现整体参数估计的目的。由于估计样本的均值就等于估计出了整体的均值，而随着样本数的增长，表明估计偏差的均值方差也是逐渐下降，通俗地说就是样本越多，参数估计的就越准确。

2）样本方差和二阶中心矩的统计性质

上式代表样本方差的均值仍是方差，样本二阶原点矩的均值，随着样本数n的增长而缓慢增大，这也所谓有偏估计的由来。

该性质代表：样本集并不改变整体的方差分布，对原始的整体来讲，样本既不增长新的信息熵，也不减小信息熵。

3）样本均值和方差的依几率收敛性

由独立同分布情形下的大数定律获得：

，

因此有：

在大数定理下，无论是有偏估计仍是无偏估计，样本均值和样本方差最终都会收敛到整体均值和整体方差。

样本均值和方差的几率收敛性，也是矩估计法和极大似然估计的理论依据，它从理论上证实了基于样本进行数理统计的合法性和有效性。

4）二项分布整体下的样本统计量求解

这个小节咱们用一个具体的例子来阐述，如何对统计量的各类几率性质进行定量的分析和计算。

设（X1，X2，...，Xn）是取自整体X的一个样本，当X~B(1，p)时，分别求下列几个统计量：

由二项分布的性质咱们知道：

因此有：

0x3：三大分布 - 正态整体假定下，对样本随机变量进行特定统计量函数变换映射后，获得的3种特定几率分布

标题取得有一些绕，笔者这里尽力分解解释一下。

前面说到，样本是从符合必定几率分布的整体（任意几率分布形式）中经过某种采样方案，采样抽取获得的。因此咱们将样本看作是一种随机变量，并计算样本随机变量的统计量，例如前面介绍了经常使用的统计量（例如均值、方差、次序统计量）。但统计量本质也是一种函数变换（例如均值统计量就是一种固定形式的函数），统计量自己又是一种新的随机变量，因此统计量自己也是有几率分布函数形式的。 

在全部整体假设中，正态分布是应用最普遍的一种几率分布，根据中心极限定律，全部的几率分布在大数n状况下，都会趋近于正态分布，因此咱们本章讨论正态分布整体下的抽样分布。

虽然正态整体假设下，抽样随机变量的统计量形式能够由不少种，可是在学术研究和工业实践中，使用最多的仍是3大分布，本章咱们讨论数理统计中用的比较多的3种分布，包括x2分布、t分布、F分布，它们在正态整体的统计推断中起着重要做用。

笔者提醒：显然，数理统计中并不仅有这3种几率分布，理论上说，针对正态整体的抽样，咱们能够用任意的统计量g()函数来获得新的随机变量，在一些特定的工业场景中，也确实须要咱们创造新的统计量函数来应对特定的复杂场景。

1. X2分布

1）几率分布数学公式

设X1，X2，...，Xn为相互独立的标准正态分布随机变量，都服从N(0，1)，称随机变量：

所服从的分布为自由度为n的 χ2 分布，记做Y ~ χ2(n)。样本数n越大，自由度越大。

χ2(n)分布的密度函数为：

密度函数的图像以下，它随着自由度n的不一样而有所改变。

2）几率分布性质

χ2分布具备以下性质：

• 当Y ~ χ2(n)时，E(Y)=n，D(Y)=2n

• χ2分布的可加性：设X与Y相互独立，且X~χ2(m)，Y~χ2(n)，那么，X+Y ~ χ2(m+n) 

3）x2分布几率分布计算举例

设（X1，X2，X3，X4，X5，X6）为取自标准正态整体N(0，1)的一个样本，分别求下列三个统计量的分布：，并求a，b的值。

由样本的定义可知，X1，X2，X3，X4，X5，X6相互独立，且都服从N(0，1)分布，因此根据χ2分布的定义可知，即自由度为2个χ2分布。

同理，，即由一个样本组成的几率分布为自由度为1的χ2分布。

，即，又，即

因此由χ2分布的定义可知：

整理可得，a=1/2，b=1/3。

2. t分布

1）几率分布数学公式

设随机变量X与Y相互独立，且X~N(0，1)，Y~χ2(n)。称随机变量：

服从自由度为n的t分布（学生氏分布），记为T~t(n)。

T的值域是(-∞，∞)，t(n)分布的几率密度函数为：

t(n)分布的密度函数图像以下，关于直线t=0对称：

当n充分大时，其图形相似于标准正态分布N(0，1)的密度函数图像，即

t(n)分布的p分位数记做ta(n)，即当T~t(n)时，P(T ≤ ta(n)) = p。

在实际中，当n>45时，对于t分布的分位数值，就用标准正态分布的分位数近似，即

3. F分布

1）几率分布数学公式

设随机变量X与Y相互独立， 且X ~ χ2(m)，Y ~ χ2(n)，称随机变量：

所服从的分布是自由度为(m，n)的F分布，记做F ~ F(m，n)。其中m称为第一自由度，n称为第二自由度。

F(m，n)分布的几率密度函数为： 

F(m，n)分布的几率密度函数图像以下：

F(m，n)分布的p分位数记做Fp(m，n)，即当F ~ F (m，n)时，，对一些经常使用的p，能够经过查表获得，且同时具备以下性质：

2）F分布几率分布计算举例

设随机变量T~t(n)，F=1/T²，求随机变量F的分布。

因为T~t(n)，设，其中随机变量X与Y相互独立，且X~N(0，1)，Y~χ2(n)。

则有：

又由于X²~X(1)，且X²与Y相互独立，根据F分布的公式定义，可得：

F ~ F(n，1)，即第一自由度为n，第二自由度为1的F分布。 

0x4：正态整体假定下的抽样分布的统计量性质

统计量是样本(X1，...，Xn)的函数，它是一个随机变量。统计量的分布称为抽样分布。

设(X1，...，Xn )是取自正态整体N(μ，σ²)的一个样本。下面来研究统计量的性质，咱们会看到，有不少分布性质是须要借助3大分布来表达的，这也是3大分布在数理统计中重要性的体现，同时在后文讨论假设检验的时候，3大分布还会频繁出现。

定理1

• ，或等价地

关于第二点这里简单讨论下，从表面上看，是n个正态随机变量的平方和，但实际上它们不是相互独立的，它们之间有一个线性约束关系：

这代表，当这n个正态随机变量中有n-1个取值给定时，剩下一个的取值就跟着惟一肯定了。因此其知足自由度为n-1的X²分布。

定理2

把结论左端改写成：

上式右端分子服从N(0，1)

上式右端分母中的

且分子分母二者相互独立，所以，由t分布的定义便知结论成立。

定理3

在不少实际问题中，经常须要比较两个相互独立的正态整体的样本均值差或样本方差比，因此针对两个相互独立的正态整体有如下定理。

设(X1，...，Xm )是取自正态整体N(μ₁，σ_1²)的一个样本，(Y1，...，Yn)是取自正态整体N(μ₂，σ_2²)的一个样本。 

Relevant Link: 

《几率论与数理统计》同济大学数学系 第6章 第二节 

 

3. 参数估计 - 几率分布模型已知时模型参数估计

0x1：参数估计基本定义

在以前的章节中，咱们已经讨论了整体和样本的概念，而整体X的分布永远是未知的，一般根据实际状况假定服从某种类型的分布。例如，假定整体X服从正态分布，那么刻画正态分布的均值μ和方差σ²究竟取什么值，是参数估计范畴内的知识。

在参数估计的知识推导中，须要用到以前讨论过的样本统计量的概念，样本统计量和大数定律是参数估计的链接桥梁和理论支撑。

设整体X~f(x；θ)，其中 f 的形式已知，θ是未知参数。例如，整体X~B(1，p)，其中p未知，这个p即为标记整体分布的未知参数，简称整体参数。

整体参数虽然是未知的，可是它可能取值的范围倒是已知的。称整体参数的取值范围为参数空间，记做

如何根据样原本对未知参数进行估计，这就是数理统计中的参数估计问题。参数估计的形式有两类：1）一类是点估计；2）一类是区间估计

0x2：参数点估计 - 精确的参数值估计

设整体X的分布形式已知，但它的一个或多个参数未知，借助于整体X的一个样原本估计整体未知参数值的问题，称为参数的点估计问题。

设（X1，X2，...，Xn）是取自整体X的一个样本，点估计就是依据样本估计未知参数为某个值，这在数轴上表现为一个点。

具体地说，假定要估计某个未知参数θ，求θ的点估计就是根据样本（X1，X2，...，Xn）构造一个参数估计统计量，h(X1，...，Xn)，在经过抽样得到样本观测值(x1，...，xn)以后，便用h(x1，...，xn)的值来估计未知参数的值。

称h(x1，...，xn)为θ的估计量，估计量本质上也是一种随机变量，记做，也简记为。根据随机变量的定义，估计量是参数空间中一个肯定的值。

在一个具体问题中，要求未知参数的估计值必须先求出这个未知参数的估计量（即构造一个包含未知参数的几率分布函数），这里咱们介绍两种经常使用的估计方法：1）矩法；2）极大似然法 

1. 矩估计

1）矩估计形式定义

矩估计的思想就是替换思想：用样本原点矩替换整体原点矩。

设整体X的k阶原点矩：，样本的k阶原点矩为：，若是未知参数，则θ的矩估计量为。这种估计整体未知参数的方法称为矩估计。

2）矩估计性质

设一个整体X的均值E(X)=μ，方差D(X)=σ²都未知，（X1，X2，...，Xn）为取自该整体的一个样本，则是μ的矩估计量，S_n²是σ²的矩估计量，S_n是σ的估计量。

3）矩估计应用实例

设（X1，X2，...，Xn）是取自整体X的一个样本，求X~B(1，p)和X~E(λ)时，整体未知参数的矩估计量。

X~B(1，p)，首先，0-1分布的指望E(X)=p，因此未知参数记为整体一阶原点矩，即p=E(X)，应用矩估计的替换思想，用样本的一阶原点矩替代整体一阶原点矩，可得p的矩估计量为

X~E(λ)，E(X)=1/λ，因此λ=1/E(X)，因此λ的矩估计量为

4）求解整体未知参数θ矩估计量通常步骤

• 1）设k为一正整数，一般取1或者2（即1阶或者2阶），计算整体的k阶原点矩μ^k = E(X^k) = h(θ)
• 2）解出θ = h^-1（E(X^k)） = h^-1（u^k），将未知参数转为为整体k阶原点矩的形式
• 3）用样本的k阶原点矩替换u^k，获得θ的矩估计，即将未知参数转为样本k阶原点矩的形式 

矩估计是一种经典的估计方法，它比较直观且计算简单，即便不知道整体分布类型（矩估计法跳过了整体分布形式这个环节，直接采起了替换思想），只要知道未知参数与整体各阶原点矩的关系并运用替代法，就能获得参数的矩估计量。

2. 极大似然估计

1）极大似然估计形式定义

设整体X有分布律P(X=x；θ)或密度函数f(x；θ)，其中θ为一个未知参数或几个未知参数组成的向量θ=(θ₁，θ₂，....，θ_k)，已知 θ∈参数空间。（x₁，x₂，....，x_n）为取自整体X的一个样本（X1，X2，...，Xn）的观测值，将样本的联合分布律或联合几率密度函数当作θ的函数，用L(θ)表示，又称为θ的似然函数，则似然函数形式以下：

在似然函数的基础上，称知足下列关系式：

的解为θ的极大似然估计，也即让似然函数取得极大值时的特定参数值θ叫作：θ的极大似然估计量。显然，极大似然估计量也是一个随机变量。

笔者插入：极大似然估计是因果论的一种逆向应用，整体未知参数θ是因，样本的观测值是果，在全部备选θ中，使得结果发生几率最大的因就是极大似然估计的结果。

2）极大似然估计量的求解方式

似然函数L(θ)的极大似然估计问题本质上是一个求极值问题，若是在θ参数较少时，能够用求偏导的方式来求解，同时为了计算方便，通常两边取对数，即对数极大似然估计，以下式：

来获得θ的极大似然估计，这是由于L(θ)与lnL(θ)在同一处达到最大值。

当θ参数较多时，通常用矩阵代替偏导数进行计算，其本质是同样的。

关于极大似然估计的延展讨论，读者朋友朋友能够参阅另外一篇文章。

3）极大似然估计应用实例

设(X1，...，Xn)是取自整体X的一个样本，X~P(λ)，其中λ未知，λ > 0。

包含整体未知参数λ的似然函数为：

对似然函数两边取对数，并对未知参数λ求导数得：

对导数求极值得：

解得：

因而，λ的极大似然估计量为。

4）求解整体未知参数θ极大似然计量的通常步骤

• 1）由整体分布写出样本的联合分布律或者联合密度函数
• 2）把θ当作自变量，样本联合分布律（或联合密度函数）当作是θ的函数，记为似然函数L(θ)
• 3）求似然函数L(θ)的最大值点
• 4）令L(θ)达到最大值时，θ的取值即为θ的极大似然估计值。

由上面讨论能够看出，和矩估计不一样的是，求解极大似然估计必须整体X的分布类型已知，即必需要可以写出肯定的包含整体未知参数θ的函数形式。极大似然估计的条件比矩估计的条件要苛刻，故极大似然估计通常优于矩估计。或者换句话来讲，矩估计并不关心整体分布的具体形式，直接应用了一个很是强的假设，即任何整体的k阶矩均可以用样本的k阶矩代替。

3. 点估计优良性评价标准

对于同一个参数，用不一样的估计方法求出的估计量多是不一样的，如何定型和定量地评估用哪一个估计量更好呢？这个小节会讨论3种经常使用的评判标准。

1）无偏性 - 选矩估计仍是极大似然估计

设是θ的一个估计量，θ取值的参数空间为Θ，若对任意的θ∈Θ，都有：

则称是θ的无偏估计量，不然称为有偏估计量。

估计量的无偏性是指，由估计量获得的估计值相对于未知参数真值来讲，取某些样本观测值时偏大，取另外一些样本观测值时偏小。

反复将这个估计量使用屡次，就平均来讲其均值回到到真值自己，且其误差为0。

反之，若是估计量不具备无偏性，则不管使用多少次，其平均值也与真值有必定的距离，这个距离就是系统偏差了（即估计量选取自己有问题）。

下面经过一个例子来讲明，矩估计和极大似然估计在对特定整体抽样下，估计统计量的无偏性对比。

设（X1，X2，...，Xn）是取自整体X的一个样本，整体服从均匀分布，X~U(0，θ)，其中θ>0未知，对比θ的估计量和极大似然估计量的无偏性。

首先，因为E(X)=θ/2，则θ=2E(X)，则θ的估计量为，所以该矩估计量的指望为：

所以θ的矩估计量是θ的无偏估计。

另外一方面，θ的极大似然估计函数形式（即最大次序统计量）为：

所以该极大似然估计量的指望为：

由上式能够看出，θ的极大似然估计量X_(n)不是θ的无偏估计，为θ的有偏估计。

上面只是理论上的分析，可是当样本量很大时，大数定律会让问题简单化，即：

所以：在大量样本的状况下，X_(n)是θ的渐进无偏估计。

同时还有一点须要注意的是，对最大次序统计量进行修正，，修正后的统计量知足指望回归真值，即修正后的统计量是无偏估计。

并非全部的统计量都是可疑修正的，修正后无偏估计在工程实践中很是有用。

2）有效性 - 无偏估计中继续择优

一个未知参数的无偏估计能够有不少（矩估计的各阶矩，似然函数极值求导下的多个值），如何在无偏估计中再进行选择呢？

因为无偏估计的标准是平均误差为0，因此一个很天然的想法就是每一次估计值与真实值的误差波动越小越少，误差波动大小能够用方差来衡量，所以咱们用无偏估计的方差大小做为进一步衡量无偏估计优劣的标准，这就是有效性。

设和是θ的两个无偏估计，若对任意的θ∈Θ，有下式成立：

则称比有效。

仍是继续沿用上面的均匀分布的例子，咱们已知是θ的无偏估计，且修正后的极大似然估计量也是θ的无偏估计。

且：

，又，因此：

根据函数性质，当n>=2时，，因此修正后的极大似然估计比矩估计更有效。

3）相合性 - 在大数状况收敛于真值的能力

点估计是样本的样本，故点估计仍然是一个随机变量，在样本量必定的条件下，点估计不可能彻底等同于未知参数的真值，但若是随着样本量不断增大，它可以不断接近真值，控制在真值附近的强度（几率）愈来愈大，即无限趋近，那么这就是一个好的估计，这一性质称为相合性。

设是θ的一个估计量，若对任意ε，有以下公式成立：

则称估计量具备相合性（一致性），即，这其实就是高数里收敛的概念，在几率论中叫几率收敛一致性。

相合性被视为对估计的一个很基本的要求，若是一个估计量，在样本量不断增大时，它不能把被估参数收敛到任意指定的精度内，那么这个估计量就是不收敛的（发散的）。一般，不知足相合性的估计通常不予考虑。 

0x4：区间估计

1. 由一个例子从点估计推导演进到区间估计

上一章讨论的参数点估计是基于样本观测值计算出一个肯定的值去估计整体未知参数。同时上一章也讨论到了点估计量的3种评价标准，即无偏性，有效性，相合性。其实这背后已经暗含了一个重要信息，即参数点估计的结果从几率上是存在偏差的，虽然随着样本量的不断扩大，这个偏差会无限趋近于零，但永远不可能彻底等同于。换句话说，不管是矩估计仍是极大似然估计本质上都存在这偏差。

相比于给出精确的点估计值，学者们提出了另外一种参数估计方法，即区间估计，即给出一个区间，让咱们能有更大地把握认为真值被包含在这个区间内，这样的估计就显得更有实用价值，也更为可信，由于咱们把可能出现的误差也考虑在内了。

用一个具体例子来逐步引入后面对区间估计的形式化定义的讨论：

考察某厂生产的水泥构件的抗压强度(单位:N/cm2)，若是在抽样前已经从历史上积累的资料中获悉，该厂生产的水泥构件的抗压强度 X ~ N(μ，400)，其中μ未知 。

抽取了25件样品进行测试，获得25个数据x1，... ，x25，根据点估计定义，算得：

若是用点估计的观点看，415应该就是是该厂生产的水泥构件的平均抗压强度的估计值。确实在判别式模型中，这就是咱们所谓的获得一个最优的模型参数估计。

可是因为抽样的随机性，μ的真值和样本的点估计量之间可能老是有误差的，咱们但愿获得一个最大误差d，保证点估计量和真值之间的误差不超过这个最大误差的几率达到某个置信几率，即

接着就出现2个互相制衡的约束条件：

• 1）d究竟取多大才比较合理？　　
  • d愈大可信程度也愈高，最极端的状况，当d增大到整个参数空间时，可信度天然也增长到100%了。但区间过宽的估计是没有实际意义的，毕竟你告诉你的业务方说，我有1%的几率认为这笔交易是一个非法交易，你去阻断它吧！可想而知后果
  • 反之，d愈小，区间估计就越精确，越收敛，极端状况下，d为零时即退化为点估计。但相应的，可信程度却下降了
• 2）这样给出的区间估计的可信程度如何?
  • 可信度即置信几率，在不一样的最大误差d下，可信度相应调整。显然，下游业务方是但愿这个可信度越高越好。

怎么调和二者的矛盾呢？

在抽样前，区间估计是一个随机区间，反映区间估计可信程度的量是这个随机区间覆盖未知参数μ的几率分布函数，所以上面2个约束条件能够写成几率形式：

，该式本质上就是点估计量的几率分布函数。

上式中，取不一样的d，能够获得对应的几率值。反过来也能够说，取不一样的几率值，就能够获得不一样的d。

在数理统计中，咱们一般取95%这个几率值，咱们称之为置信几率（即可以接受估计结论的最低几率值），该几率值对应的d获得一个区间【X-d，X+d】咱们称之为置信区间（即偏差的最小下界，即最少包含d的偏差，继续增长置信几率，d也会相应继续增大）。

回到上面这个具体的例子，因为，其中，σ² = 400 = 20²，n = 25，所以，上述几率为：

，其中

若是要求这个几率至少为1-α（称为置信水平，或置信几率），那么，由 2Φ(c) - 1 ≥ 1 - α 解得：

上面说到，咱们一般取95%做为置信几率，因此当α=0.05，因此有：

因而，置信区间为：

习惯上把这个区间估计经过分位数表达成：

上式清楚地代表了这个区间估计的可信程度（即它覆盖未知参数μ的几率）为1-α。

在抽样后，由样本观测值算得，所以，μ的区间估计的观测值为：

从样本观测值提供的信息，推断出以95%的可信程度条件下，可以保证该厂生产的水泥构件的抗压强度在407.16 ~ 422.84(N/cm2 )之间。

2. 区间估计形式化定义 

设（X1，...，Xn）是取自整体X的一个样本。对于未知参数θ，给定α，0<α<1。若是存在统计量，使得：

那么，称为θ的双侧1-a置信区间，称1-a为置信水平，为双侧置信下（上）界。

上面定义表示双侧1-a置信区间覆盖未知参数θ的几率至少有1-a。它的直观意义是：对同一个未知参数θ反复使用同一个置信区间时，尽管不能保证每一次都，可是，至少有100(1-a)%次使得“”成立。

和参数的点估计统计量同样，参数的区间估计量也是一个随机变量，因此称为置信区间的观测值。

3. 求置信区间的通常步骤

置信区间估计的基本思想是：较优的点估计应该属于置信区间。

设未知参数为θ，置信水平为1-α。

• 步骤1：求出未知参数θ的较优的点估计，通常尽量使用θ的极大似然估计
• 步骤2：以为基础，寻找一个随机变量（其实就是包含未知参数的几率分布），它必须包含、也只能包含这个未知参数θ。要求J的分位数能经过查表或计算获得具体数值

• 步骤3：记J的a/2分位数为a，1-a/2的分位数为b，因而

•  步骤4：把不等式“a <= J <= b”做等价变形，获得，这个即是一个双侧1-a置信区间

0x5：单正态整体下未知参数的置信区间

参数的区间估计是针对某个已知整体分布的，例如已知整体分布为二项分布，可是其参数未知，须要经过区间估计来获得未知参数分布的置信区间。

在实际应用环境中，正态整体下未知参数的置信区间是应用价值最大的一类置信区间问题，咱们这节来讨论当整体分布为正态分布时，其未知参数的区间估计问题。

1. 均值和方差的置信区间估计

设（X1，...，Xn）是取自整体X~N(μ，σ²)的一个样本，置信水平为1-a。

均值μ和方差σ²是否已知对置信区间的估计结果是有影响的，在实际状况中，也存在不一样的已知状况，咱们分别讨论这3种类型。

1）μ未知但σ²已知

当整体分布为正态分布，方差已知，可是均值未知时。根据上一节讨论肯定的置信区间估计的通常步骤，求未知参数μ的置信区间。

μ的极大似然估计是。

设统计量J为：

按整体分布正态标准化定理可知，J~N(0，1)，因为，所以 

因而μ的双侧1-α置信区间为：

从上式能够获得两点信息：

• 样本量n越大，置信区间越窄，极端状况下，n趋近于无穷，则置信区间收敛为μ的极大似然估计是
• 已知整体的方差越大，置信区间越宽，方差越小，置信区间越窄。

2）μ已知但σ²未知

如今要求未知参数σ²的置信区间。σ²的极大似然估计是：

设统计量J为：

从前面三大分布的讨论中可知，J ~ χ2(n)，所以

因而σ²的双侧1-α置信区间为：

3）μ与σ²均未知

未知参数μ的极大似然估计是，令：

按照t分布定理可得，J ~ t(n-1)，因为，所以

因而，μ的双侧1-α置信区间为：

未知参数σ²的极大似然估计是：

设统计量J为：

根据X2分布定理可得，J ~ χ2(n-1)，所以：

因而，σ²的双侧置信区间为：

2. 单正态整体下未知参数置信区间估计案例 

电动机因为连续工做时间过长而会烧坏，今随机地从某种型号的电动机中选取9台，并测试它们在烧坏前的连续工做时间(单位:h)。

由样本数据（x1，... ，x9）算得：

假定该种型号的电动机烧坏前连续工做时间 X ~ N(μ，σ)，取置信水平为0.95。

试分别求出μ与σ的双侧置信区间。

1）问题分析

这是一个典型的已知整体几率分布为正态分布，同时u和σ参数都未知的参数区间估计问题。

2）置信区间估计

对于具体问题来讲，直接套用对应公式便可，u和σ都未知状况下，u的置信区间上下界计算须要涉及到t分布取值以及S的取值。

查表得t_0.975(8)=2.306，同时

所以，μ的双侧95%置信区间的上、下限分别为：

，即[37.66，41.74]

同理套用公式的得σ²的双侧95%置信区间为：

Relevant Link: 

《几率论与数理统计》同济大学数学系 第7章  

 

4. 假设检验

0x1：假设检验基本定义

假设检验是统计推断的另外一种重要的形式，从数理统计的原理上来理解，笔者认为假设检验和参数区间估计本质上是同样的，都是在计算整体几率分布密度函数的区间几率。

• 参数区间估计是已知样本反推未知参数在整体几率分布密度函数上的值域区间，不一样的值域区间范围对应了不一样的累计几率（即置信度），经过设定不一样的置信度阈值，获得对应的值域区间（即置信区间）
• 假设检验是先假设整体分布的某些未知参数已知（即假设整体已知），在已知整体下获得抽样几率分布。不一样的值域对应了不一样的几率，反之，选定了一个几率值也就获得一个对应的值域区间，假设检验就是讨论样本统计量和样本随机分布下的阈值区间之间的关系的一套方法论

能够这么说，假设检验和参数估计的底层本质，都是整体和抽样统计几率分布函数的值域或者几率值计算。

在参数估计问题中，经常在抽样前先对未知整体做出一些假定。例如，假定整体X服从正态分布，假定某个正态整体的方差为一个已知值，等等。

在数理统计中，把这类关于整体分布的假定称为(统计)假设。假设做出了，还须要经过样原本验证抽样前所做出的假设是否与实际相符合， 能够用样本所提供的信息来检查，检查的方法与过程称为(统计)检验。

假设检验问题就是研究如何根据抽样后得到的样原本检验抽样前所做出的假设的一套方法论。

0x2：硬性假设检验 - 基于拒绝域的假设检验

从这小节开始，咱们先从硬性假设检验引入话题，逐步介绍假设检验的思想内涵。隐性假设检验是笔者在阅读教材和文献的时候本身根据理解取的名字。

硬性假设检验，是指非白即黑的对立假设，经过设定一个肯定的边界，若是超出边界就否认假设。

下面经过一个例子来详细说明。

1. 题目场景分析

某饮料厂在自动流水线上灌装饮料。在正常生产情形下，每瓶饮料的容量(单位:mL)X服从正态分布N(500，102)。

通过一段时间以后，为了检查机器工做是否正常，抽取了9瓶样品，测得它们的平均值为490mL。

试问此时自动流水线的工做是否正常？即问是否能够认为平均每瓶饮料的容量还是500mL？假定标准差10mL不变。

2）创建统计假设

在这个问题中，整体X~N(μ，102)，整体分布是正态分布是已知的，其中参数μ未知。

（x1，...，x9）是取自这个正态整体X的一组样本观测值，且已知样本均值

接下来，咱们对实际的整体几率分布参数创建一正一反两个假设：

• “μ=500”：表示自动流水线的工做正常，每一个X_i~N(500，102)
• “μ≠500”：表示自动流水线的工做不正常，每一个X_i~N(μ，102)，i=1，...，9，其中μ≠500

在数理统计中，把它们看做是两个对立假设。

习惯上，称：

• “μ=500”为原假设(或零假设)，记做H₀
• “μ≠500”为备择假设(或对立假设)，记做H₁

在假设检验问题中，断言“H₀成立”称为接受H₀(或不能拒绝H₀)。断言“H₁成立”称为拒绝H₀。

3）计算拒绝域 - 统计检验 

统计假设创建完以后，为了检验H₀是否成立，须要基于样本(X1，...，Xn)计算样本的统计量。如今已知样本均值。

从表面上看，因为，所以H₀不成立。可是，这样下结论是不能使人信服的。例如，若是，是否还能断言H₀不成立呢？毕竟它只差了一点点呀。

因此一个很天然的思考方式是，咱们须要创建一个表明可容忍度的统计标准，在抽样前先肯定一个标准，即事先给定一个常数d，当抽样后发现时，拒绝H₀。

至于如何给出这个常数d，这就是接下来统计检验要讨论的问题。

当H₀成立(即μ=500)时，整体X~N(500，102)，基于该整体下的抽样几率分布为：

因此假设不成立的几率为：

若是要求这个几率不超过α，其中α表明显著性水平，并记，那么，由，解得：

通常取，因而，推得当知足：

时，拒绝H₀。把上述标准等价地表达成，当：

时，拒绝H_0。这里的u_1-α称为临界值，它是最终判断是拒绝H₀仍是接受H₀的标准。

从上式能够看到，临界值的是从抽样统计分布经过查表法获得的，对于一样的95%置信度a来讲，不一样的抽样样本获得不一样的抽样几率分布，最终获得的临界值也是不一样的（本质就是经过几率值反查值域值）。

回到题目，若是取α=0.05，由，及算得：

所以拒绝H₀，便可以认为此时自动流水线的工做不正常。

注意！在这种状况下，做出错误检验判断的几率为0.05。这就是假设检验的核心思想，全部决策皆几率。

0x3：软性假设检验 - p值和p值检验法 

上一章节，咱们讨论了基于样本随机变量几率分布，计算出拒绝域，根据样本统计量是否超出拒绝域从而决定是否拒绝原假设，这是一种“Hard Hypothesis-Test”。

如今在此基础上咱们提出一个更进一步的问题，样本统计量超出拒绝域0.01和超出拒绝域100，意味着一样的拒绝置信吗？虽然不没有超过拒绝域可是紧邻着拒绝域边缘的状况，要拒绝仍是接受呢？

显然，”Hard Hypothesis-Test“没法完美地回答上述问题，这须要一个柔性的几率性分析的方法论，即告诉咱们能以多大的几率接受假设，能以多大的几率拒绝假设。

这就是咱们本节要讨论的p值检验法，它本质上参数区间估计思想是一脉相承的。

1. p值检验法定义

假设检验的p值是在原假设H₀成立的条件下，检验统计量Z出现给定观测值或者比之更极端值的几率，直观上用以描述抽样结果与理论假设的吻合程度，所以也称p值为拟合优度。

例如，正态整体参数检验的状况，检验统计量为Z，即由样本数据获得检验统计量Z的观测值为，则p值为：

2. p值检验法原则  

p值检验法的原则是当p值小到必定程度时拒绝H₀。

• 若是p <= a，即检验统计量Z的观测值在拒绝域内，则在显著性水平a下拒绝原假设H₀。
• 若是p > a，则在显著性水平a下接受原假设H₀

一般约定：

• p <= 0.05：称结果为显著，即显著拒绝
• p <= 0.01：称结果为高度显著，即极大几率应该拒绝

3. p值检验法举例

一美国汽车厂商声称他们生产的某节能型汽车耗油量低于29(单位：英里/加仑，mpg)，另外一汽车厂商表示怀疑，他们抽取了一组同是这一型号的不一样汽车的行驶记录共16条（一组样本），获得平均耗油量观测值为28。

假设该节能型汽车的耗油量整体分布为X~N(μ，9)，知道了整体分布，天然也就获得了抽样分布的几率分布。

如今问在显著性水平a=0.05假定下，可否接受耗油量低于29的假设？若显著性水平为a=0.1，则结论会有变化吗？

在开始解题以前，咱们先来分析一下题目问题的本质，咱们如今有一个整体几率分布的假设，同时咱们有抽样样本，即有抽样分布，同时这里显著性水平a，表明了几率分布函数的特定值，不一样的a对应了不一样的几率值域区间。

解题：

创建假设，给出未知参数μ的估计，则经过正态分布分位数查表得：

• 当显著性水平a=0.05时，0.0918 > 0.05，故不能拒绝H₀，认为耗油量不低于29mpg。
• 当显著性水平a=0.1时，0.0918 < 0.05，故拒绝H₀，认为耗油量低于29mpg。

这个例子告诉咱们，在一个较小的显著性水平（a=0.05）下获得不能拒绝原假设H₀的结论，而在一个较大的显著性水平（a=0.1）下，同一组样本数据却获得了相反的结论。

缘由在于，当显著性水平变大时，会致使拒绝域变大，本来落在接受域内的数据可能落到拒绝域内，于是更容易拒绝H₀。

在实际应用中，可能同一个问题，在不一样的显著性水平假定下获得不一样的结论。更经常使用的作法是，给出p值，由使用者本身决策以多大的显著性水平来拒绝原假设。p值比拒绝域提供更多的信息，使用也更灵活。

0x4：单正态整体参数的假设检验

上个小节咱们举的例子就已经涉及到单正态整体参数下的假设检验了，这个小节咱们来形式化讨论一下在单正态整体下，假设检验的各类形式和定义。

设整体X~N(μ，σ)，-∞<μ<∞，σ >0，(X1，...，Xn)是取自正态整体X的一个样本，显著性水平为α。

1. μ未知但σ²已知

创建假设：

μ的极大似然估计是，设检验统计量：

• 当H₀成立时，的值应较小，等价地，| U | 的观测值应较小；
• 当H₁成立时，的值较大，能够认为H₀不成立，即拒绝H₀。

因而，拒绝域：

当μ=μ0 时，由显著性水平a得下式：

解得临界值，从而拒绝域公式等价为：

即当样本观测值(x1，... ，xn)知足不等式：

时，拒绝H₀。一般称这个检验为u检验。

2. μ已知但σ²未知

若是要检验：

那么，由σ²的极大似然估计构造检验统计量 

当，

• 当H₀成立时，即，的值应该接近于1，等价的，的观测值应接近于n

• 反之，若是根据样本观测值(x1，...，xn)发现的值过大或太小地偏离于n，天然能够认为H₀不成立，即拒绝H₀

因而，拒绝域为：

由于当时，

一般称这个检验为χ2检验。

3. μ与σ²均未知

1）μ假设检验

若是要检验：

那么，在μ的极大似然估计的基础上，能够构造检验统计量：

因而，拒绝域能够表达成，当

时，拒绝H₀。一般称这个检验为t检验。

2）σ²假设检验

若是要检验：

那么，在σ²的极大似然估计S_n²的基础上，能够构造检验统计量：

因而，拒绝域能够表达成，当

时，拒绝H₀。一般也称这个检验为χ2检验。 

0x5：参数估计和假设检验的关系

在学习了参数估计和假设检验以后，读者朋友可能会有一个疑问，既然有样本了，直接基于样本进行参数估计不就好了吗？为何还须要假设检验，假设检验最后不仍是依靠样原本估计未知参数吗？

1. 联系

• 都是根据样本信息对整体的数量特征进行推断；
• 都是以抽样分布为理论依据，创建在几率论基础之上的统计推断；

2. 区别

• 参数估计是以样本资料估计整体参数的真值，而假设检验是以样本资料对整体的先验假设是否成立，以及成立的置信几率做出判断；
• 参数估计中的区间估计是以大几率为标准，一般以较大的把握度1-a去保证整体参数的置信区间，而假设检验是以小几率原理为标准，一般给定很小的显著性水平a去检验样本对整体参数的先验假设是否成立；

3. 同一个问题的不一样理论视角

在为整体未知参数构造置信区间时，若是置信水平为95%，则说明整体未知参数位于两个极限之间的几率达到95%。

而显著性水平反映了整体未知参数将位于某个极限外的几率，若是显著性水平为5%，则意味着拒绝域的几率为5%。

假设检验和区间估计的关系以下。

假设整体X~N(μ，σ²)，μ和σ²均未知，设（X1，X2，....，Xn）是取自整体X的一个样本，给定置信水平为1-a，显著性水平为a，则μ的双侧1-a置信区间为：

也可表达成为：

接着考虑以下关于均值μ的双侧检验问题：

可得相应的拒绝域为：

对比置信区间和假设检验的拒绝域，咱们能够发如今单正态整体中，假设σ²未知的状况下，μ的双侧1-a置信区间记为μ的双侧检验问题接受域，以下图所示：

因而可知，假设检验和参数区间估计本质上说的是一件事，只是不一样的理论视角。

Relevant Link: 

https://zhuanlan.zhihu.com/p/45898097 

 

5. 从拟合优度角度看一元线性回归拟合程度

回归分析是机器学习中很经常使用的统计方法，其本质上是利用参数估计与假设检验处理一类特定的数据，这类数据每每受到一个或若干个自变量的影响，本章仅讨论一个自变量的情形，自变量是普通的变量，但因变量是一个随机变量，即一元线性回归。

0x1：相关关系问题

在实际问题中，经常须要研究变量与变量之间的相互关系。变量之间的相互关系基本上能够分为：

• 函数关系：肯定性关系
• 相关关系：不肯定性关系

1. 函数关系

函数是研究变量之间相互关系的一个有力工具，例如，以速度v做匀速直线运动时，物体经历的时间t与所通过的路程s之间具备函数关系s=vt。函数关系的基本特征是，当自变量x的值肯定后，因变量y随之肯定。

所以，函数实质上是研究变量之间肯定性关系的数学工具。可是在实际的数据分析场景中，肯定性的关系并不老是存在，从笔者本身的经验来看，几乎99%的数据分析场景里，变量之间的关系都不是肯定性的函数关系。关于该话题的讨论，能够参阅另外一篇文章。

2. 相关关系

与此相对的，在客观世界中变量之间还存在另外一种广泛的关系，即不肯定性关系。

例如，咱们会发现人的身高与体重这两个变量之间存在某种关系，例如高的人总体上都会重一些，可是这种关系不能用一个函数来表达，由于当人的身高肯定后，人的体重并不随之肯定，它们之间存在一种不肯定性关系。

变量之间的不肯定性关系称为相关关系。

假定要考察自变量x与因变量Y之间的相关关系，因为自变量x给定以后，因变量Y并不随之肯定，它是一个与x有关的随机变量，它可能取其值域Ω_Y中的任意某个值，所以，直接研究x与Y之间的相关关系比较困难。所以必需要找一个可以表明Y的统计量，做为”随机变量表明“，来和x进行相关关系分析。

注意到均值E(Y)反映了随机变量Y的平均取值，所以能够将E(Y)统计量做为Y的表明，研究x与E(Y)之间的关系。

随机变量Y所包含的不肯定性经过指望E(Y)被消除，这样，x与之间即可以获得一种肯定性关系，E(Y)成为x的某个函数。

下面经过研究μ(x)这个函数来达到探讨x与Y之间相关关系的目的。

0x2：几率论与数理统计理论体系下的一元线性回归 - 线性模型的数理统计表达

物理定律告诉咱们，弹簧的伸长与拉力之间在理论上存在线性关系。从数据分析的角度，回归分析正是为这条物理定律提供了统计依据。咱们这节围绕该问题展开讨论。

为了研究弹簧悬挂重量x(单位:g)与长度Y(单位:cm)的关系，经过试验获得以下一组(6对)数据：

从散点图看出，自变量x与因变量Y之间确定不存在函数关系，可是显然存在相关关系。这6个点虽然不在同一条直线上，但大体在直线L的周围。

前面说到，在研究x和Y的相关关系的时候，咱们通常会给Y选定一个”随机变量表明“，如今直线L就是随机变量Y的表明。

记直线L的线性方程为：

y = β₀ + β₁x。因而，能够把xi与yi之间的关系表示成：

这里，ε_i表示试验偏差，它反映了自变量x与因变量Y之间的不肯定性关系，即：

，其中，ε~N(0，σ²)，即偏差符合正态分布（这是高斯在研究正态分布和随机偏差时证实的理论）。

对这一组变量(x，Y)做了n次观测，获得样本观测值

站在抽样前的立场看，这一组样本能够表示成：

其中，ε₁，...，ε_n是独立同分布的随机变量，且都服从N(0，σ)。这个数学模型称为(一元)线性模型。

在线性模型中，自变量x看做一个普通的变量，即它的取值x₁，...，x_n是能够控制或精确测量的。而因变量Y是一个随机变量(由于ε是一个随机变量)，即它的取值y₁，...，y_n在抽样前是不肯定的，便是不可控制的。

在线性模型中，整体Y~N(β₀ + β₁x，σ²)，其中是x的线性函数，这个函数称为回归函数，回归函数反映了自变量x与因变量Y之间的相关关系。称β₁为回归系数，称β2为回归偏置。

这里，β₀，β₁，σ²都是未知参数，-∞ < β₀，β₁ < ∞，σ² > 0。

回归分析就是要根据样本(x₁，y₁)，...，(x_n，y_n)找到β₀与β₁适当的估计值，从而用经验公式：

来近似刻画自变量x与因变量Y之间的相关关系。这个经验公式称为经验回归函数。

它表明的直线称为经验回归直线。上图中的直线L即为经验回归直线。

0x3：最小二乘法

1. 最小二乘形式化定义

如何根据(x₁，y₁)，... ，(x_n，y_n)来推测经验回归直线L呢？

从直观上看，这条直线L应最接近已知的n个数据点，一般用

做为任意一条直线y = β₀ + β₁x与这n个数据点偏离程度的定量指标。

即，但愿选取适当的β₀，β₁使得Q(β₀，β₁)的值尽可能小。用这个方法获得的β₀，β₁的估计称为最小二乘估计，这个估计方法称为最小二乘法。

要求Q(β₀，β₁)的最小值，能够先解下列方程组：

经整理后获得：

称这个方程组为正则(或正规)方程组，由正则方程组解得：

其中，

因而，β₀，β₁的最小二乘估计量为：

由β₀，β₁的最小二乘估计量，得经验回归函数为：

经验回归直线是过n个数据点的几何重点且斜率为的一条直线。

2. 最小二乘估计的性质

分别是β₀，β₁的无偏估计，且：

0x4：回归系数的显著性检验

对于线性回归函数来讲，回归系数β ₁是一个重要的未知参数，对该参数须要进行假设检验：

| β₁ | 的大小反映了自变量x对因变量Y的影响程度，通俗的话说就是，考量是否是在用线性回归函数来强拟合。

• 若是经检验拒绝H₀，那么能够认为自变量x对因变量有显著性影响，称为回归效果显著；
• 若是经检验不能拒绝H₀，即回归效果不显著，那么缘由是多方面的。例如：
  • 可能原来假定E(Y)是x的线性函数β₀+β₁x这个大前提就有问题，x和Y之间根本就没有线性关系、
  • 也可能影响因变量Y的自变量不止x一个，甚至还可能x与Y之间不存在必须重视的相关关系，而只是弱线性关系、
  • 也多是由于采样过程引入了大量的噪音，致使Y中的噪音方差过大

为了给出回归系数的显著性检验的拒绝域，先做一些准备工做，记：

，并称SS为总误差平方和

反映了数据中因变量取值的离散程度。记：

，并称SS_R为回归平方和。

由获得：

所以，SS_R反映了n个值相对于其平均的离散程度，它是因为自变量x取不一样的值x1，...，xn 而引发的，于是它在必定程度上反映了回归系数β₁对数据中因变量取值产生的影响。

如今来讨论σ²的点估计。σ² = D(ε_i)反映了试验偏差，在数据中，它经过来表现，其中

即是按经验回归函数算得自变量 x = x_i 时因变量 y 的值，称为第 i 个残差。

称：

为残差平方和。

残差平方和反映了n次试验的累积偏差，它的值恰是Q(β₀，β₁)的最小值，由于

一般取σ^₂的估计为 

当n较小时，一般取σ²的估计为 

能够证实是σ²的无偏估计，不具备无偏性，可是σ²的渐进无偏估计。

下面推导残差平方和的计算公式，由：

获得： 

由残差平方和的计算公式获得平方和分解公式：

有了上面的准备工做，咱们能够开始讨论对回归系数对显著性检验了。

与SS_E相互独立，且，当β₁=0时，。

对回归系数做显著性检验，有本质上相同的3种经常使用方法，接下来逐一讨论：

1. t检验法  

设检验统计量：

当β₁=0时，，，且与SS_E相互独立，所以，。

因而在显著性水平a下，当：

时，拒绝H₀。

2. F检验法

设检验统计量：

当β₁=0，而且与SS_E相互独立保证与SS_E相互独立，推得F~F(1，n-2)。

因而，在显著性水平α下，当：

时，拒绝H₀。由T₂=F，能够看出知F检验法本质上与t检验法是相同的。

3. 相关系数检验法 

设检验统计量： 

，称R为相关系数

相似于随机变量的相关系数ρ(X，Y)，R的取值r反映了自变量x与因变量Y之间的线性相关关系。

因而，在显著性水平α下，当时，拒绝 H₀。

相关系数检验法是实际问题中被普遍应用的一种检验方法，由于它对x与Y之间线性相关关系给出一个数量表示。

能够证实相关系数检验法也与t检验法本质上是相同的，由于它们之间存在下列关系：

4. 回归系数3种显著性检验举例

仍是沿用前面的弹簧的例子，为了研究弹簧悬挂重量x(单位:g)与长度Y(单位:cm)的关系，经过试验获得以下一组(6对)数据：

列出计算表格(n=6) 

因而，利用获得：

由上面计算计算表格和样本均值计算结果获得：

所以，

从而：

同时获得：

将上面带入t/F/相关系数检验公式，得：

3种检验的临界值分别是：

经过查表获得结论，检验结论都是拒绝H₀，即回归效果显著。这也和咱们的直观判断是一致的。

笔者思考：损失函数的损失值是从另外一个角度，度量了两个随机变量之间相关度的几率。损失最小就意味着参数估计的极大似然。能够从信息论的统一视角来看它们两者，本质上是一样的概念。

Relevant Link:  

《几率论与数理统计》同济大学数学系 第8章