统计学基础之参数估计

目录：

1、点估计

　　一、矩估计法

　　二、顺序统计量法

　　三、最大似然法

　　四、最小二乘法

2、区间估计

　　一、一个整体参数的区间估计：

• 整体均值的区间估计
• 整体比例的区间估计
• 整体方差的区间估计　　　　

　　二、两个整体参数的区间估计：

• 两个整体均值之差的区间估计
• 两个整体比例之差的区间估计
• 两个整体方差比的区间估计　　

3、样本量的肯定

　　一、估计整体均值时样本量的肯定

　　二、估计整体比例时样本量的肯定

---

 1、点估计

点估计是用样本统计量来估计整体参数，由于样本统计量为数轴上某一点值，估计的结果也以一个点的数值表示，因此称为点估计。

点估计和区间估计属于整体参数估计问题。何为整体参数统计，当在研究中从样本得到一组数据后，如何经过这组信息，对整体特征进行估计，也就是如何从局部结果推论整体的状况，称为整体参数估计。

由样本数据估计整体分布所含未知参数的真值，所获得的值，称为 估计值。点估计的精确程度用置信区间表示。

当母群的性质不清楚时，咱们须利用某一量数做为估计数，以帮助了解母数的性质。如：样本平均数乃是母群平均数μ的估计数。当咱们只用一个特定的值，亦即数线上的一个点，做为估计值以估计母数时，就叫作 点估计。

点估计目的是依据样本X=(X一、X2…Xi)估计整体分布所含的未知参数θ或θ的函数g(θ)。通常θ或g(θ)是整体的某个特征值，如数学指望、方差、相关系数等。

一、矩估计法

利用样本矩来估计整体中相应的参数。首先推导涉及感兴趣的参数的整体矩（即所考虑的随机变量的幂的指望值）的方程。而后取出一个样本并从这个样本估计整体矩。接着使用样本矩取代（未知的）整体矩，解出感兴趣的参数。从而获得那些参数的估计。

最简单的矩估计法是用一阶样本原点矩来估计整体的指望而用二阶样本中心矩来估计整体的方差。在寻找参数的矩法估计量时，对整体原点矩不存在的分布如柯西分布等不能用，另外一方面它只涉及整体的一些数字特征，并未用到整体的分布，所以矩法估计量实际上只集中了整体的部分信息，这样它在体现整体分布特征上每每性质较差，只有在样本容量n较大时，才能保障它的优良性,于是理论上讲，矩法估计是以大样本为应用对象的。

若是整体中有 K个未知参数，能够用前 K阶样本矩估计相应的前k阶整体矩，而后利用未知参数与整体矩的函数关系，求出参数的估计量。

二、顺序统计量法

顺序统计量设是整体X的样本，将它们自小到大排成，则这个排列称为样本顺序统计量。抽取一个样本，便有一组自小到大的观察值

与之相对应，其中

是观察值中最小者，

是观察值中最大者。 例如，样本值为3.15，2.98，3.16，3.05，2.90，则其顺序统计量为2.90，2.98，3.05，3.15，3.16  

顺序统计量估计法 顺序统计量估计法是直观简便的估计法，经常是对整体的数学指望与标准差进行。

设 为整体X的样本顺序统计量，则称 为 样本中位数。样本中位数

的观察值

的取值规则是：将样本观察值

自小到大排成顺序统计量观察值

，当n为奇数(即n=2k+1)时，

取居中的数据

；当n为偶数(n=2k)时，

取居中两个数据的平均值

，即

从中位数的含义可见，它带来了整体X取值的平均数信息，所以， 用于估计整体X的数学指望是合适的。用样本中位数

估计整体X的数学指望的方法，称数学指望E(X)的 顺序统计量估计法。其结果也有估计量与估计值之分。

三、最大似然法

　　给定一个几率分布D，假定其几率密度函数（连续分布）或几率汇集函数（离散分布）为 f D，以及一个分布参数θ，咱们能够从这个分布中抽出一个具备 n个值的采样X1,X2,...,Xn，经过利用 f D，咱们就能计算出其几率： 。可是，咱们可能不知道θ的值，尽管咱们知道这些采样数据来自于分布D。如何估计θ？一个天然的想法是从这个分布中抽出一个具备 n个值的采样X1,X2,...,Xn，而后用这些采样数据来估计θ。找到一个关于θ的估计。最大似然估计会寻找关于 θ的最可能的值（即，在全部可能的θ取值中，寻找一个值使这个采样的“可能性”最大化）。这种方法正好同一些其余的估计方法不一样，如θ的非偏估计，非偏估计未必会输出一个最可能的值，而是会输出一个既不高估也不低估的θ值。要在数学上实现最大似然估计法，定义可能性：

而且在θ的全部取值上，使这个函数最大化。这个使可能性最大的值即被称为 θ的最大似然估计

四、最小二乘法

 

 

 观测值就是咱们的多组样本，理论值就是咱们的假设拟合函数。目标函数也就是在机器学习中常说的损失函数，咱们的目标是获得使目标函数最小化时候的拟合函数的模型。举一个最简单的线性回归的简单例子，好比咱们有m个只有一个特征的样本：

 

 

 

 样本采用下面的拟合函数：。这样咱们的样本有一个特征x，对应的拟合函数有两个参数θ₀和θ₁须要求出。

目标函数为：

 

 

 用最小二乘法作什么呢，使J(θ₀,θ₁)最小，求出使J(θ₀,θ₁)最小时的θ₀和θ₁，这样拟合函数就得出了。

参考：https://www.cnblogs.com/pinard/p/5976811.html

---

2、区间估计

区间估计是在点估计的基础上，给出整体参数估计的一个区间范围，该区间一般由样本统计量加减估计偏差获得。与点估计不一样，进行区间估计时，根据样本统计量的抽样分布能够对样本统计量与整体参数的接近程度给出一个几率度量

1、一个整体参数的区间估计：转自：https://blog.csdn.net/liangzuojiayi/article/details/78043658

• 整体均值的区间估计

•  

   

• 整体比例的区间估计

•  

   

• 整体方差的区间估计

•  

   

   

   

  　　　　

二、两个整体参数的区间估计：转自：https://blog.csdn.net/liangzuojiayi/article/details/78044718

• 两个整体均值之差的区间估计
大样本

•  

   小样本

•  

   

   

   

• 两个整体比例之差的区间估计

•  

   

• 两个整体方差比的区间估计

•  

   

   

   

---

3、样本量的肯定 ： 转自：https://blog.csdn.net/rosa_zz/article/details/79562794

•样本容量：

样本中个体的数目或组成抽样整体的单位数。

•必要样本容量：

亦称必要样本单位数，是指知足调查目的要求的状况下，至少须要选择的样本单位数。

一、估计整体均值时样本量的肯定

1.重复抽样

一旦肯定了置信水平（1-α），Zα/2的值就肯定了，对于给定的的值和整体标准差σ，就能够肯定任一但愿的容许偏差所须要的样本容量。令E表明所但愿达到的容许偏差，即：

 

由此能够推到出肯定样本容量的公式以下：

 

2.不重复抽样

 

•样本容量n与整体方差成正比，

•与绝对偏差成反比，

•与几率度成正比。

例：拥有MBA学位的研究生年薪的标准差大约为4000 元，假定想要估计年薪95%的置信区间，但愿容许偏差为10000 元，应抽取多大的样本容量？

二、估计整体比例时样本量的肯定

1.重复抽样

一旦肯定了置信水平（1-α），Zα/2的值就肯定了。因为整体比例的值是固定的，因此容许偏差由样本容量来肯定，样本容量越大容许偏差就越小。估计的精度就越好。所以，对于给定的的π值，就能够肯定任一但愿的容许偏差所须要的样本容量。令E表明所但愿达到的容许偏差，即：

 

由此能够推导出重复抽样和无限整体抽样条件肯定样本容量的公式以下：

 

2.不重复抽样

 

•d的取值通常小于0.1

•π未知，以样本比例p替代

•π或p都未知时，可取0.5，这是一种谨慎估计

例：某社区想经过抽样调查了解居民参加体育活动的比率，若是把偏差范围设定在5％，问若是以95％的置信水平进行参数估计，须要多大的样本？

 

 肯定样本容量的注意事项

1、在实际中采用不重复抽样，但经常使用重复抽样下的公式代替；

2、若和p未知，其处理方式是：

        1.用过去近期的数据代替，

        2.用样本数据代替，

        3.取p=0.5或最接近0.5的值；

3、对同一整体，若求出的Nx，Np不等，这时取较大的做为必要样本容量，

        以同时知足作两种调查的须要；

4、在实际工做中，常使用重复抽样下的简单随机抽样公式。