一篇文章读懂A/B测试背后的统计学原理

为了可让你们更好地理解 A/B Testing 背后的统计学知识，咱们以前已经发过几篇深度分析文章；可是这些文章中涉及的一些术语和统计学知识，对一些基础不太好的同窗不免会形成困惑，为了可让你们更好地理解这后面蕴藏的学术逻辑和算法基础，咱们特意从非学术的角度整理出一期内容，献给你们参考。

A/B 测试是一种对比试验，在试验过程当中，咱们从整体中抽取一些样本进行数据统计，进而得出对整体参数的一个评估。咱们能从试验数据中得出有效结论的科学基础是基于统计学原理。

从 A/B 测试的试验原理来看，它是统计学上假设检验(显著性检验)的一种形式。

既然涉及统计学了，咱们先来了解一些基础概念，这些会对咱们理解这些内容有很大帮助。

在如今的 Appadhoc 平台作测试时，咱们经过对试验数据的解读来确认哪一个版本的效果更好；整个过程就其实至关于在作一个对比试验，经过综合对比原始版和试验版本的样本数据，从而判断这两个版本存在差别或者相同的结论。

首先，在试验过程当中存在2个假设，这两个假设的关系咱们须要先搞清楚。

• 原假设：咱们但愿经过试验结果推翻的假设

• 备择假设：咱们但愿经过试验结果验证的假设

咱们在作A/B测试时，利用试验样本数据判断备择假设是否成立。逻辑上运用反证法，统计上依据小几率思想。原假设和备择假设是一个完备事件组，并且相互对立。在一项假设检验中，原假设和备择假设必有一个成立，并且若是其中一个不成立则必须无条件接受另外一个。

在A/B测试过程当中，由于咱们试验的目的是经过反证法证实测试版本和对照版本有明显的不一样（提高），因此在这个场景中，原假设就是原始版本和试验版本无差别，而备择假设就是这两个版本存在差别；这也很好理解，由于咱们确定不但愿作了半天测试，获得的结果是两个版本一点差别都没有吧？

如今中心思想明确了，咱们的作A/B测试的试验的目的就是推翻2个版本无差别的原假设，验证他们有差别的备择假设。

既然作试验时，咱们经过样本数据去验证咱们的观点，那确定会有犯错的几率，为了获得科学的试验结果，咱们则须要尽量减小这些可能致使咱们队试验结果作出误判的几率。

第一类错误：原假设为真时拒绝了原假设
首先咱们容易犯的就是第一类错误，就是原假设为真时拒绝了原假设，说白了就是过来就是2个版本无差别时候，咱们错误 的认为他们有差别（从统计学角度讲也叫弃真错误）这个错误的后果很是严重，因此咱们把这它的标准设一个值0.05， 它其实就是一个几率， 这个几率就是咱们允许本身出错的几率。

这个就是5%就是在统计学里称做 α , 它表明着咱们这个试验结果的置信水平。与这个置信水平相对应的就是置信区间的置信度，由 1- α 得出，因此你在这里看到若是 α 是0.05，那置信度就是0.95，也就是说，若是咱们允许本身出错的概率是5%，那咱们将获得一个有 95% 的可能性包含真实的整体均值区间范围，若是你把这个 α 调整成0.07，那你的置信区间的置信度将变成93%。

因为 α 是咱们本身设置的，那么固然须要经过数据去验证一下，这个经过计算出来的值就是 p-value ， p 的定义就是，若是两个版本无差别的前提下，咱们获得这个试验数据的几率。

p-value 是计算出的， α 是咱们本身设定的。

p <= α 则意味着咱们的测试获得了统计显著的结果, 由于只有咱们获得的这个 p 的几率越小，我就能够越有信心的地根据小几率事件不会发生的判断依据，从而推翻原假设，接受备择假设。（假设 p 值0.04 那么意味着若是原假设为真，咱们经过抽样获得这样一个样本数据的可能性只有 4%。则我能够认为这次试验发生了小几率事件。根据小几率事件不会发生的判断依据，咱们能够反证认为原假设不成立，接受备择假设的事实。）

p 值核算涉及样本均值，样本数量，和标准差。

第二类错误：原假设为假时接受了原假设
减小了第一类错误后，还有另外一种错误会影响咱们的决断，

那就是原假设为假时接受了原假设，说白了就是2个版本有差别时候，咱们错误 的认为他们没有差别 ，这个错误的几率在统计学角度也称为取伪错误，记为 β ），这个几率能够相对大一些，业界大约定俗成的一个标准就是10%和20%的几率。

和显著性水平同样，为了不咱们犯第二类错误，咱们须要通核算 β 从而计算出另外一个参数来给咱们参考，就是统计功效，和核算置信区间的置信度相似，它是的思路是 1-β 来得出 （统计功效 power = 1 – β ）

统计功效是指版本差别（效果）为某个指定值时，经过显著性检验能正确地把差别检验出来的几率。说白了就是，假设两个版本的确存在差别，咱们可以正确拒绝原假设，得到统计显著性结果（95%置信区间中数据）的几率。

统计功效的核算涉及样本数量，方差， α 、以及最小变化度或者置信区间下限。

因而可知，只有咱们把第一类错误控制在5%之内，第二类错误控制在10%-20%左右，咱们才能够说得出具备参考价值的出的试验数据。

换句话说，咱们在作A/B测试时，试验结果达到95%的置信度，以及80%-90%的统计功效时，它对咱们来讲才是有意义、能够做为决策参考的。

本文做者：吆喝科技 CSM 团队 Yang 。