如何作一次完美的 ABTest？

本文首发于 vivo互联网技术 微信公众号
连接： https://mp.weixin.qq.com/s/mO5MdwG7apD6RzDhFwZhog
做者：DuZhimin

愈来愈多的公司都在尝试 ABTest，要么是本身搭建系统，要么依赖于第三方的系统。那么在咱们进行ABTest的时候，必备的基础知识有哪些？该如何一步一步的进行AB实验呢？本文将根据 AB 实验的流程带领你们一窥究竟。

1、引言

在互联网公司的业务发展过程当中，用户增加是永恒的主题，由于没有增加也就没有发展，因此在业务发展的早期产品迭代速度每每是越快越好，总之一句话：“怎么快怎么来”。

而当业务发展到必定阶段后，野蛮生长的红利逐渐消退，用户增加空间在可见策略下变得不那么明显的状况下，如何合理地规划产品迭代策略就显得尤其重要了，而具体如何判断产品策略是否有效，每每就须要数听说话，其结果决定了该产品或策略的生命力以及与之配套的各种资源的调配，毕竟咱们都不会将资源浪费在无效的产品和策略上。

那么经过什么样的工具或手段才能确保数据驱动策略的有效落地和实施呢？不少公司都是经过ABTest及建设与之相适配的实验基础设施平台来实现这样的目标。

2019年咱们搭建了vivo的ABTest实验平台(霍金实验平台)，到目前为止台累计接入业务方14个业务方进行了40个实验，在与业务方沟经过程中发现咱们对ABTest的理解还不够，因此在这里咱们一块儿学习一下相关的知识点，加深对ABTest的理解。

ABTest一般是比较产品的某一个变量在不一样的版本里面设置不一样的值带来的做用以及影响（好比一个页面用红色的按钮、另外一个用蓝色的按钮），其中版本A是当前正在使用的版本，而版本B是改进版。在进行实验时通常是比较实验组和对照组在某些指标上是否存在差别，固然更多时候是看实验组相比对照组某个指标表现是否更好。这样的对比在统计学上叫作两样本假设检验，即实验组和对照组为两样本，假设检验的原假设H0：实验组和对照组无显著差别；备择假设H1：实验组和对照组存在显著差别。

更多时候咱们关注的比例类的数值，如点击率、转化率、留存率等。这类比例类数值的特色是，对于某一个用户（样本中的每个样本点）其结果只有两种，“成功”或“未成功”；对于总体来讲，其数值为结果是“成功”的用户数所占比例。如转化率，对于某个用户只有成功转化或未成功转化。比例类数值的假设检验在统计学中叫作两样本比例假设检验。

下面咱们以帐号设备登陆率实验来进行讲解。

2、实验前准备

一、作实验以前，咱们先来回答下面几个问题：

1.一、你进行实验是想证实什么？

答：我想经过改变设备登陆按钮的颜色来提升帐号的设备登陆率

1.二、你的对照组和实验组将是什么样子？

答：对照组就是目前的样子，请看下图，登陆的按钮是蓝色的背景，实验组我想把登陆的按钮背景改为橙色，从而看看设备登陆率是否有提高。

【完美第一步：肯定实验组和对照组】

1.三、如何避免混杂因素？

（混杂因素就是研究对象的个体差别，它们不是你试图进行比较的因素，但却最终致使分析结果的敏感度变差，好比不一样城市的人，不一样年龄段的人，性别……，进行实验的时候要尽可能避免混杂因素对结果的影响）

答：你这里问的就是咱们在作实验的时候，如何肯定对照组和实验组的样本吧，就是要使实验组和对照组的样本个体差别尽可能相同。如何分配每一个实验方案的用户霍金实验平台已经帮咱们作了，我了解到实验平台能够支持不少种划分用户的策略（惟一标识符哈希，指定特定用户，根据用户标签……），咱们准备采用惟一标识符哈希的策略，它是从请求的用户中随机选择来避免混杂因素的极好办法：由于可能成为混杂因素的那些因素最终在对照组和实验组中具备同票同权。

下图是实验平台支持的分流策略：

【完美第二步：排除混杂因素】

二、样本量

作A/B实验须要多少样本？这是咱们在作实验的时候都必需要回答的问题。（其实对于互联网的应用来讲，流量都很是大，样本量不多是实验中须要考虑的因素，不过这里咱们仍是要讲一讲，由于还涉及到一些其余的概念，咱们也须要了解了解）

2.一、为什么要计算样本量？

理论上，样本量越多越好：

• 从直观上看，当样本数量不多的时候，实验容易被新的样本点带偏，形成了实验结果不稳定，难以得出确信的结论。相反的，样本数量变多，实验则有了更多的“证据”，实验的“可靠性”也就越强。

在现实操做中，样本量应该越少越好，这是由于：

1. 流量有限：大公司由于用户数量足够多，不用过于精打细算，同时跑几十个甚至上百个实验也没问题。但小公司一共就那么点流量，还要开发这么多新产品。在保证不一样实验的样本不重叠的状况下，产品开发的速度会大大下降。
2. 试错成本大：假设咱们拿50%用的户来跑实验，但不幸的是，一周后结果代表实验组的总收入降低了20%。算下来，你的实验在一周内给整个公司带来了10%的损失。这个试错成本未免高了一些。

2.二、置信度和检测效能

要搞清这两个概念，咱们了解一下A/B实验的基本知识。

首先，A/B测试的两个假设：

原假设（Null hypothesis, 也叫H0）：咱们但愿经过实验结果推翻的假设。在咱们的例子里面，原假设能够表述为“橙色按钮和蓝色按钮的设备登陆率同样”。
备择假设（Alternative hypothesis, 也叫H1）：咱们但愿经过实验结果验证的假设。在咱们的例子里面，能够表述为“橙色按钮和蓝色按钮的设备登陆率不同”。

A/B测试的本质，就是经过实验数据作出判断：H0到底正不正确？那么就会出现下面四种状况：

一、设备登陆率无区别（H0正确），实验分析结果却说有区别：

因为判断错了，咱们把这类错误叫作第一类错误（Type I error），咱们把第一类错误出现的几率用α表示。置信度 = 1-α。第一类错误意味着新的产品对业务其实没有提高，咱们却错误的认为有提高。这样的分析结果，不只浪费了公司的资源，并且可能对产品进行了负向引导。

因此，在作A/B测试的时候，咱们但愿第一类错误越低越好。实际操做中，咱们人为的对α定了一个上限，通常是5%。也就是说，在作实验的时候，咱们都会保证第一类错误出现的几率永远不超过5%。

二、设备登陆率有区别（H1正确），实验分析结果却说没区别：

咱们的判断又错了，这类错误叫作第二类错误（Type II error），用β表示。咱们通常定义第二类错误β不超过20%。

三、状况2和状况3是两种判断正确的场景，咱们把作出这类正确判断的几率叫作检测效能。

咱们的作实验的根本目的是为了检测出橙色按钮和蓝色按钮的设备登陆率的差异。若是检测效能低，证实即便新产品真的有效果，实验也不能检测出来。换句话说，咱们的实验无卵用。

根据条件几率的定义，检测效能 = 1 -β = 80%。

对两类错误上限的选取（α是5%，β是20%）中咱们能够了解到A/B实验的重要理念：宁可砍掉4个好的产品，也不该该让1个很差的产品上线。

2.三、样本量的计算公式

大部分状况下，咱们不须要详细了解样本量的计算公式，这里给出来公式，你们一块儿学习一下。

上面式子中p1咱们称为基础值，是实验关注的关键指标如今的数值（对照组）；p2咱们称为目标值，是但愿经过实验将其改善至的水平；α和β分别称为第一类错误几率和第二类错误几率，通常分别取0.05和0.2；Z为正态分布的分位数函数 。

由于 ABTest通常至少2组，因此实验所需样本量为2n。

2.四、这么复杂的公式我不会算，咋办？

现在霍金实验平台已经提供了计算样本量的小工具，只须要填入几个数字就能够了：

说明：

当前业务平常的比例（基线比率）：好比当前咱们进行的帐号设备登陆率实验，那么这个基线比率就是当前的设备登陆率，好比15%。

指望提高的最小比率（最小可探测效应）：在咱们的实验中，咱们选按期望提高的最小比率为5%。这意味着，若是粉色按钮真的提升了5%的设备登陆率，咱们但愿实验可以有足够把握检测出这个差异。

实验组数：正常进行AB实验的时候，就是两个，一个对照组，一个实验组。

【完美第三步：计算最小样本量】

三、肯定指标

在进行实验时通常是比较实验组和对照组在某些指标上是否存在差别，固然更多时候是看实验组相比对照组某个指标表现是否更好。因此咱们在进行实验以前就应该先肯定好实验中须要须要对比的指标，更多时候咱们关注的比例类的指标，如点击率、转化率、留存率等。后续咱们作实验的显著性分析的时候，也是分析的比例类指标。

【完美第四步：肯定实验指标】

四、埋点

当咱们肯定了须要分析的具体指标以后，就须要咱们进行埋点设计，把相关的用户行为收集起来，供后续的流程进行数据分析，从而得出实验结论。

对于 ABTest咱们须要知道当前用户是处于对照组仍是实验组，因此埋点中这些参数必需要有。

目前霍金实验平台经过服务端埋点技术，支持业务方实验的时候埋点数据不上报用户是处于实验组仍是对照组的信息，可是建议仍是业务方把用户处于的方案信息埋进去，这样数据更准确，分析的结果更可靠。

【完美第五步：收集实验数据】

3、实验中观察

一、观察样本量是否符合预期，好比实验组和对照组分流的流量是否均匀，正常状况下，分流的数据不会相差太大，若是相差太大，就要分析哪里出现了问题。

二、观察用户的行为埋点是否埋的正确，不少次实验以后，咱们发现埋点埋错了。

4、实验后分析

一、当咱们作过 ABTest以后，须要对数据进行分析来肯定本次实验的效果，这就须要进行实验的显著性分析，看看实验的显著性差别，若是结果不显著，则不具有参考性。

二、显著性差别是一个统计学名词。它是统计学上对数据差别性的评价。在做结论时，一般状况下咱们用 P>0.05 表示差别性不显著；0.01<P<0.05 表示差别性显著；P<0.01表示差别性极显著。

三、当数据之间具备了显著性差别，就说明参与比对的数据来自于具备差别的两个不一样整体，这种差别可能因参与比对的数据是来自不一样实验对象群体，好比把中年人和老年人相比，也可能来自于实验处理对实验对象形成了根本性状改变（正是咱们AB实验指望的），于是实验的数据会有显著性差别。

四、下面给出比例类指标显著性计算公式，供你们参考（独立样本t检验）：要计算p值，咱们须要先计算t值，公式以下：

计算出t值后，根据t值和自由度n =N1 + N2 - 2 将 t 值转换成p值，
这里给出Excel的计算公式：p =Tdist(t,n,1)

五、这么复杂的显著性计算须要咱们业务方来计算吗？

答：不须要，霍金实验平台已经支持实验指标的显著性计算：

【完美第六步：指标显著性计算】

六、从3可知，显著性差别不必定就表明实验是有效的，多是由于混杂因素致使的，这就须要作实验样本的进一步分析，肯定是否是混杂因素的影响。

【完美第七步：肯定显著性根本缘由】

七、最终经过分析，给出本次实验是否有效，若是有效那么本次实验带给业务方的提高是多少的结论。

【完美第八步：给出实验结论】

八、据说霍金实验平台将会支持方案分流数据实时查看和指标数据实时查看 是吗？

答：是的，是的，应该不会过久。

5、总结

如何作一次完美的 ABTest？

一、肯定对照组和实验组，最好是作单变量的实验，一次只改变一个变量。

二、分流时尽可能排除混杂因素，通常状况下采用随机分流便可。

三、检查流量是否达到最小样本量要求，达不到要求则无法进行后续的分析，实验结果不可信。

四、肯定本次实验的对比指标，就是若是方案之间存在差异须要经过什么来衡量？

五、准确收集用户行为数据，这就要求埋点必须正确。

六、分析指标的显著性，若是指标不显著则表示实验无效。

七、肯定引发显著性的根本缘由，排除混杂因素致使实验结果的显著性。

八、最终给出实验结论：有效 or 无效。

更多内容敬请关注vivo 互联网技术微信公众号

注：转载文章请先与微信号：Labs2020联系。