统计学知识系列：一篇搞懂假设检验

前言：对于数据分析师来讲，统计学是必不可少的基础知识。不只工做中会常常运用其概念，且也几乎是数据分析师工做的面试必考题(尤为是校招以及转行的朋友，当实战经验少的时侯会更关注基础功底是否扎实)。因此我准备开始以较简练的语言，辅以简单易懂案例，总结一些统计学核心的知识点。咱们经常使用的ab实验，其背后的原理就是统计学中的假设检验，今天咱们来详细说说假设检验。
1、经常使用核心概念
什么是假设检验：假设就是对从整体参数(均值、比例等)的具体数值所做的陈述，好比，我认为配方一比配方二的效果要好。而假设检验就是先对整体的参数提出某种假设，而后利用样本的信息判断假设是否成立的过程，好比上面的假设信息我该接受仍是拒绝。

什么是显著性水平：显著性水平是一个几率值，原假设为真时，拒绝原假设的几率，表示为α，常取值为0.0五、0.0一、0.10。一个公司招聘，原本准备招聘100我的，公司但愿只有5%的人是混水摸鱼招聘进来，因此可能会有5我的混进来，所谓显著性水平α，就是你容许有多少比例混水摸鱼的能经过测试。

原假设与备择假设：待检验的假设又叫原假设(零假设)，通常表示为H0，原假设通常表示二者没有显著性差别。与原假设进行对比的叫备择假设，表示为H1。通常在比较的时候，主要有等于、大于、小于。

检验统计量：即计算检验的统计量。根据给定的显著性水平，查表得出相应的临界值。再将检验统计量的值与该显著性水平的临界值进行比较，得出是否拒绝原假设的结论。

P值：是一个几率值，若是原假设为真，p值是抽样分布中大于或小于样本统计量的几率。左检验时，p值为曲线上方小于等于检验统计量部分的面积。右检验时，p值为曲线上方大于等于检验统计量部分的面积。

假设检验的两种错误：类型 I 错误(弃真)，如原假设为真，但否认它，则会犯类型 I 错误。犯类型 I 错误的几率为 α（即您为假设检验设置的显著性水平）。α 为 0.05 代表，当您否认原假设时，您愿意接受 5% 的犯错几率。为了下降此风险，必须使用较低的 α 值。可是，使用的α值越小，在差值确实存在时检测到实际差值的可能性也越小。类型 II 错误(采伪)，如原假设为假，但没法否认它，则会犯类型 II 错误。犯类型 II 错误的几率为 β，β 依赖检验功效。能够经过确保检验具备足够大的功效来下降犯类型 II 错误所带来的风险。方法是确保样本数量足够大，以便在差值确实存在时检测到实际差值。

单双测检验：当假设关键词有不得少于/低于的时候用左侧检验，好比灯泡的使用寿命不得少于/低于700小时时；当假设关键词有不得多于/高于的时候用右侧检验，好比次品率不得多于/高于5%时。双侧检验指按分布两端计算显著性水平几率的检验，应用于理论上不能肯定两个整体一个必定比另外一个大或小的假设检验。通常假设检验写做H0：μ1=μ2。

检验结果：单侧，若p值>α,不拒绝H0，若p值<α,拒绝H0；双侧，若p值>1/2α,不拒绝H0，若p值<1/2α,拒绝H0

 

2、假设检验方法

假设检验方法：z检验，t检验，卡方检验(卡方本篇不详述，应用较少)

2.1 Z检验

Z检验原理：当整体标准差已知,样本量较大时用标准正态分布的理论来推断差别发生的几率，从而比较两个平均数的差别是否显著。若是检验一个样本平均数与一个已知的整体平均数的差别是否显著，其Z值计算公式为：

若是检验来自两个的两组样本平均数的差别性，从而判断它们各自表明的整体的差别是否显著，其Z值计算公式为：

Z检验实例：

研究正常人与高血压患者胆固醇含量，比较两组血清胆固醇含量有无显著差别。

正常人组数据:n1=506(样本量) μ1=180.6(样本均值) s1=34.2(标准差)

高血压组数据:n2=142  μ2=223.6  s2=45.8

一、提出假设，规定适当检验统计量，肯定检验水平：

H0：μ1=μ2

H1：μ1≠μ2

α=0.05，样本量较大，且检验来自两组样本平均数的差别性，故选择z检验统计量

二、计算统计量z值

将已知数据带入z检验公式，

计算假设检验统计量 z=10.4

α=0.05，双侧故 α/2=0.025，1-α=0.975 查表，确认临界值为1.96

三、肯定p值，作出推断结论  

10.4(z值)>1.96(临界值)，故p<0.05，按α=0.05水准拒绝H0，接受H1，能够认为正常人和高血压患者的血清胆固醇含量有差别。

2.2 t检验

t检验：分为单样本的t检验、配对样本均数t检验(本篇不详细说)、两独立样本均数t检验。t检验应用于两组计量资料小样本比较，样本对整体有较好表明性，对比组间有较好组间均衡性，即随机抽样和随机分组。且样原本自正态分布整体。单个样本t检验适用于样本均数与已知整体均数μ0的比较,目的是检验样本均数所表明的整体均数μ是否与已知整体均数μ0有差异。应用于整体标准α未知的小样本资料,且服从正态分布。

单样本t检验实例：

某地新生儿出生体重为3.3kg，从该地难产儿中随机抽取35名婴儿，平均体重为3.42kg，标准差为0.4kg，问该地难产儿出生体重与新生儿体重是否不一样？

一、提出假设，规定适当检验统计量，肯定检验水平：

H0：μ=μ0

H1：μ≠μ0

α=0.05 ，样本均数与已知整体均数μ0的比较，因此选择单样本t检验

二、计算统计量z值

n=35  μ0=3.3  μ=3.42  s=0.4

自由度=n-1=34，α=0.05，双侧故 α/2=0.025，1-α=0.975，自由度34，查表得出临界值为2.032

三、肯定p值，作出推断结论 

由于1.77(z值)<2.032(临界值)，故p>0.05，按α=0.05水平，差异无统计学意义，不拒绝h0，不能认为该地难产儿与新生儿体重有差别。

 

两独立样本t检验(ab实验背后原理)：适用于彻底随机设计的两样本均数的比较,其目的是检验两样本所来自整体的均数是否相等。两独立样本t检验要求两样本所表明的整体服从正态分布N(μ1，σ^2)和N(μ2，σ^2)，且两整体方差σ1^二、σ2^2相等,即方差齐性。若两整体方差不等须要先进行变换。两独立样本t检验的检验假设是两整体均数相等,即H0：μ1=μ2，统计量计算公式为：

两独立样本t检验实例：

25例糖尿病患者随机分红两组，甲单纯药物治疗，乙采用药物合并饮食治疗，二月后测空腹血糖以下，问两种疗法血糖值是否相同？

数据：n1=12  s1=182.5  n2=13  s2=141

一、提出假设，规定适当检验统计量，肯定检验水平：

H0：μ1=μ2  H1：μ1≠μ2

α=0.05, 选用两独立样本t检验方法

二、计算统计量z值

将数据带入公式，计算得t=2.639  

自由度=n1+n2-2=23  α=0.05，双侧故 α/2=0.025，1-α=0.975，查表得临界值为 t=2.069

三、肯定p值，作出推断结论

由于2.639(t值)>2.069(临界值) ，故 p<0.05 ， 在0.05水准下，拒绝H0，接受H1，存在显著性差别，故认为两种疗法效果不一样。

 

以上，但愿对你们有所帮助。你们若是对假设检验部分有困惑的点，欢迎随时与我交流。