数据应用系列（1）-ab测试

做者/五花肉

做者介绍

前网易出口大数据产品经理一枚

负责过数据采集、bi系统、ab测试、画像平台等应用层平台搭建

酷爱健身、钟爱咖啡、喜好摩托、热爱生活

01 为何须要ab测试

你们在平常工做中是否会遇到如下问题：
1）产品经理提出一个竞品没有的功能，即使感受本身引领了行业，但老版：“这个功能竞品都没有为啥要作？”好不容易说通了老板，到了开发大佬评审时：“这功能对用户好像没用啊，要想说服开发，又要经历一轮苦口婆心，心累！

2）新功能经历灰度发版后，上线以后数据增加下跌是不是由于此次功能或策略致使，要想拆分清楚，分析师小伙伴又要经历一次抽丝剥茧

3）我有两个想法，但不肯定哪一个对用户更有效，如何能进行验证……

咱们天天的工做都要处理各类各样的决策，而人们决策的方式会偏好本身习惯或者熟悉的方式，但每每结论与其相悖，要想以实际效果来驱动业务。

这就须要一个科学、并行、可操做的方法来验证每一种策略的可能性，这种方法就是咱们今天要讲的A/B测试。近几年来随着用户增加，精细化分析概念的普及，做为核心方法的ab测试也仿佛成为了互联网圈小伙伴们必须掌握的基础技能之一。

Google、facebook、linkin、快手、字节等国内外大厂都把ab测试结果做为推进业务发展的基础。但ab测试方法具备必定的使用门槛，对于业务人员须要具有统计学、平台操做等相关知识；对于平台人员须要具有统计学、平台设计、数据采集、系统搭建以及异常问题处理等相关知识，乍一听起来，好像有点难度。别慌，听我慢慢给你们逐一阐述。

02 ab测试与控制变量

AB测试的定义是指为Web或App界面或流程制做两个（A/B）或多个（A/B/n）版本，在同一时间维度，分别让组成成分相同（类似）的访客群组（目标人群）随机的访问这些版本，收集各群组的用户体验数据和业务数据，最后分析、评估出最好版本，正式采用。

这条定义有几个关键词，同一时间、组成成分相同，随机访问，目的是尽量的避免其余变量对实验产生的影响。看完这条定义，不知你们是否有些似曾相识。

咱们初中上物理或生物课的时候，老师介绍过一种方法——控制变量法。控制变量法是指把多因素的问题变成多个单因素的问题,只改变其中的某一个因素,从而研究这个因素对事物影响,分别加以研究,最后再综合解决的方法。

该方法最先被设计出来是在进行科学实验时把多因素问题变成单因素问题来研究对事物的影响，目的是为了减小方差。

下面咱们来举个例子说明一下控制变量法和ab测试有多么的类似：
例1：某兴趣小组作了个实验，研究问题是种子生长状况收到什么因素影响，提出研究假设：种子生长状况是否收到洗涤剂影响，实验设计以下图：

例2：例如某app打算优化一下签到功能，研究签到功能的点击率受什么因素影响，假设：签到点击率是否受到文案的影响，实验设计以下图：

咱们从实验流程角度来看两组实验：

是否是操做流程、设计理念有殊途同归之妙。虽然控制变量法已经被创造了百十年，但这个“古老”的方法也是后期设计实验、设计平台以及数据分析上的一个基本依据。

03 ab测试有哪些优势

那么ab测试在实际运用的过程当中有哪些优势呢？
1.说服力：
我以为这个优势是首当其冲的，有些时候不管是产品、运营提的想法总会被开发diss，这需求有用么？嗨！有没有用上实验，用数听说话。这套操做下来简直是无形中给咱们负责提需求的小伙伴们强有力的支持，久而久之，我相信开发大佬们也会对咱们“言听计从”的。


2.下降风险：
ab测试强调先验性，实验肯定对用户有效果才会上线，避免了传统操做需上线之后观测数据的方式，对用户影响小的多，下降了“伤害”用户的风险 


3.符合科学原理：
ab实验通过了科学的实验设计、科学的用户抽样、运用科学的统计方法及数据分析得出的结论并采用逐步全量进行上线的方式 


4.口径统一：
实验组和对照组同时生效、同时展现、采用一样的指标口径进行计算，避免了后期实验结果上因口径不一样致使的分歧 


04 ab的基础知识及做用

ab测试是一种对比分析方法，经过样本对整体的估计，来识别出哪一个版本对总体效果最好。下面咱们一块儿看一下要学会ab测试方法须要哪些基础知识。

流量层
能够理解为平行时空，每层人总数是同样的，经过算法进行随机打散，让同一我的在不一样层有不一样的顺序和标号以便进入到不一样实验，规避掉实验上多因素形成的数据误差，之因此引入流量层的做用是为了解决实验多而流量不够的问题，每层均可以运转实验，结束后流量释放。

正交&互斥
正交&互斥是存在于流量层上，即实验用户同层互斥、不一样层正交，通俗来说就是实验已经占用的用户在同层不会被其余实验占用，但该实验中的用户在其余流量层会被占用，正交&互斥原则是实验设计时基本原则，为了不实验与实验间互相影响。

均值：表示一组数据集中趋势的量数,在一组数据中全部数据之和再除以这组数据的个数，ab实验中涉及的均值为人均值和转化率，例如人均点击次数、ctr等，在ab测试里做为一个观测指标展现

方差：是指各数据与其均值的离差平方和的平均数，反应每一个数据与均值的离散型或者波动性，在ab测试中是计算临界值的一个基本数据。

假设检验：又称统计假设检验，其做用是用来判断样本与样本，样本与整体差别是由抽样偏差引发的仍是本质差异引发的一种方法。

例如：汽车引擎新排放标准是平均值<20ppm，现某公司抽取10台汽车样本，其引擎排放水平为 15.6 16.2 22.5 20.5 16.4 19.4 16.6 17.9 12.7 13.9，判断该公司汽车是否符合新排放标准？

若要看排放是否符合标准，首先要创建原假设：排放不符合标准；其次要构造统计量进行相关数据的对比；再次要肯定这10台汽车与标准是否具备显著差别，若无差别，最后得出结论。

因此综上假设检验一般须要如下步骤：

1.提出猜测，设定原假设和备择假设
2.构造统计量，根据样本计算相关数值
3.肯定显著性水平，进行数据检验
4.得出结论

经常使用的假设检验的方法有：z检验、t检验、f检验、卡方检验，咱们能够根据下图来肯定什么检验方式适合本身：

其中t检验和z检验为ab测试所使用的检验方式。

正态分布：正态分布是描述连续型变量值分布的曲线，表现形式为中间高两边低，可根据一组数据的均值和方差求得，根据其均值、中位数和众数的大小关系有如下几种表现形式：

若均值（μ）为0（y轴），标准差（σ）为1，则该分布又称标准的正态分布，其在横轴区间（μ-σ,μ+σ）内的面积为68.268949%，横轴区间（μ-1.96σ,μ+1.96σ）内的面积为95.449974%，横轴区间（μ-2.58σ,μ+2.58σ）内的面积为99.730020%。也就是说在这三个置信区间内的几率分别是68.27%、95.45%、99.74%，该几率又成为置信水平。

置信区间：是指用样本均值估计整体均值时容许的偏差范围。例如咱们要统计全人类的体重，由于没法统计每个人，可是咱们根据规则随机取各个国家1万人的体重求其均值μ，假定作了100组实验，就会有95组实验包含μ，5组不包含。用数学公式标识则为P(μ−1.96nσ<< span="">M<< span="">μ+1.96nσ)=0.95

p值：即发生某件事情的几率，是用来判断假设检验结果的一个参数，若p值很小则证实原假设发生的几率很小。因样本是从整体中随机抽取，因此不能肯定样本的表象差异是否经过抽样偏差引发，故须要从统计学角度来判断这次抽样是否有统计学意义，其数据解释以下：

显著性差别是说明对比的数据不是来自于同一整体，而是来自于具备差别的两个不一样整体，例如大学生和小学生的在学习能力上的对比，就是有极显著差别。

显著性水平α：是在原假设为真时拒绝原假设的几率，根据具体需求选择双侧检验仍是单侧检验，详见下图：

p值和显著性水平α的关系以下：
1）若P<< span="">=α，那么拒绝原假设
2）若p>α，那么不能拒绝原假设

一般状况下单侧检验取0.05或0.01为拒绝域的临界值，这代表做出接受原假设的决定时，其正确的可能性是95%或99%

统计功效：备择假设成立时，正确的拒绝原假设的几率，咱们用下图来讲明下什么是统计功效。

红色线是原假设下分布状况，红色区域在原假设分布下为拒绝原假设的几率，其中z值为临界值，统计功效就是该临界值在备择假设的分布下，统计量大于z的几率，即上图绿色区域，公式为1-β。

上面咱们知道了以上ab测试所须要的基本概念，那如何运用到实际ab测试中呢。

咱们举个例子来看下：
背景：某天a公司产品部门要优化push文案策略对用户点击率的影响

产品经理小a在其公司下的ab平台建立了一个实验，分2个实验组开启实验，
假设：实验版本比对照版本好

实验时间：周期21天，21天后观测效果以下：

根据上表数据，具体推演流程小伙伴们能够根据前面的知识点本身思考一下~

上面梳理了ab测试的原理、优势以及一些相关的基础概念，若是要实际操做仍是须要一个平台来承接，那么一个ab平台都须要具备哪些功能呢？我对比了一下市场上的产品给你们剖析一下。

05 市场工具的竞品分析

市场上提供ab测试相关功能的公司主要有：

国内：
1.云眼https://www.eyeofcloud.com/）abtester（http://www.abtester.cn/）
2.吆喝科技（http://www.appadhoc.com/）
3.智道助手
http://sjmyz.zhidzhushou.com/lp2.html?utm_source=5&utm_medium=sembaidu&utm_term=sem_baidu_data_lz&utm_campaign=bdpcdata9044
4.数极客
https://www.shujike.com/product/abtest.html
5.云测（https://www.testin.cn/）等

国外：
1.Vwo（https://vwo.com/）、
2.Optimizely（https://www.optimizely.com/）
3.Omniture
https://www.adobe.com/marketing-cloud.html

我分别用吆喝科技、Optimizely 进行一个简单的“竞品分析”，分别从功能框架、使用流程上来对比一下国内外ab测试产品设计上的差别状况

1）功能框架：
吆喝科技应该是国内提供ab测试数一数二的大厂，其具体功能以下：

optimizely公司是2010年创立，美国的一家资深提供ab测试服务的公司，功能丰富，自主化操做很强，对于不一样场景的兼容也是别具一格，是很是值得你们学习和参考的一个产品，具体功能框架以下：

2）使用流程：
页面展现：

使用流程：

吆喝科技实验流程以引导式的交互方式进行，整个流程相对较“顺”，单从操做角度上而言门槛不是很高。

而Optimizely相对来讲比较自由，但每个操做配置都须要进行代码集成，操做流程较国内而言相对较多，具体以下：
页面展现：

上图为截取的部分配置页面

操做流程：

若是是一次新的操做，Optimizely须要提早配置好指标、受众人群、属性、功能等，每一个操做流程都会展现不少配置须要集成在sdk里，对于使用者来讲初始化过程有必定成本，不过对于开发者确实比较友好，只须要复制粘贴一段段代码便可，若是有人能提早把相关信息配置好，那用Optimizely进行ab测试仍是比较香的。

通过对两个产品的对比，ab测试的功能也就一目了然：

总结：
AB测试是数据驱动增加的核心方法，本文的目的在于能以“通俗易懂”的方式给你们普及一些基本概念，让ab测试的使用和理解不在有“门槛“，全文分别从原理、基本概念以及相关平台建设的角度进行叙述。

但因篇幅有限，相关知识点没法更全面的为你们展开，感兴趣的童鞋能够进行留言，后续相关的文章我也会逐一为你们解答，若文章内描述有错误的也欢迎你们指正。但愿你们读完后能够多多思考多多探讨，让ab测试真正能为企业增加做出贡献。

备注：
1.以上功能框架是根据各产品的功能说明文档进行整理，仅供参考，若与实际有差别请于笔者联系，及时修正

2.流程图并不是标准流程图，只对比了主要流程进行的流程示意图


一个数据人的自留地是一个助力数据人成长的你们庭，帮助对数据感兴趣的伙伴们明确学习方向、精准提高技能。关注我，带你探索数据的神奇奥秘

一、回“数据产品”，获取<大厂数据产品面试题>

二、回“数据中台”，获取<大厂数据中台资料>

三、回“商业分析”，获取<大厂商业分析面试题>；

四、回“交个朋友”，进交流群，认识更多的数据小伙伴。