10%的试验成功率究竟意味着什么？成功！

前言

在此以前，个人实验屡屡失败。10次实验，最多能有1次成功。可是即使如此，我仍是会不断在细节上作出调整，提升精准度，在进行下一次的实验。在过去的20多年时间里，我一直在持续不断作实验，我终于成功了。

——2011年得到诺贝尔生理学奖得到者 山中伸弥

山中伸弥因何得到诺奖？逆转录病毒诱导生成IPS类干细胞。或许你听不懂，简言之，他的研究成果可以让普通细胞据胚胎干细胞的能力，可以造成任何人体器官……在此基础上继续发展，任何致命的心血管疾病、器官衰竭或破损都将获得解决（而且可以避免经过胚胎获取干细胞的伦理问题）——真正作到『起死回生、妙手回春』。他是如何作到的呢？就如引言所说。

20年只作一件事情——不停试验，若是再加上不足10%的成功率究竟意味着什么？有人会想到『书山有路勤为径，学海无涯苦做舟』，吆喝君却认为这个加法等号的右边是成功。伟大的成功每每源于坚持不懈，但是盲目的勤奋和一味的吃苦并非成功的必然条件，只有创建在试验思惟下的坚持到底才是胜利。

互联网亦是如此。泡沫的远去，互联网产品自己发展的魅力得以体现。或许，这个世界上再也没有任何其余一个领域从源头上就能够深度接入试验文化。从 Goolge 第一次不太成功的 A/B 测试开始到现在世界上顶级科技广泛利用 A/B 测试优化产品体验，已经一部分人开始意识到：对于互联网公司而言， A/B 测试并非有没有没有的问题而是多仍是更多的问题。

亚马逊创始人贝佐斯曾绝不避讳的表示“试验不是策略之一，而是策略自己”，包括 Facebook、Linkedin、Google、Airbnb、Wish、Uber、Netflix 等一系列巨头从创业之初到如今始终没有改变的 A/B 测试。A/B测试，不是高高在上的理论假设，也不是俗烂的运营套路，而是一个中观的科学实践方式。

通过国内外一系列第三方A/B测试方案提供方的不懈努力（国外如Optimizely，国内如吆喝科技）愈来愈多的国内公司开始积极接触A/B测试。这些公司每每有着强烈的互联网业务增加需求却只能从一些非专业人士那里听到一些皮毛甚至是错误的认知。今天吆喝君从理论到实践帮助你们从根本上正确认识“A/B 测试 ——定义、特性、实施流程（更多内容点击阅读原文得到更多信息）。

A/B测试的定义:分离式组间试验方法

分离式组间试验方法。基于统计学假设检验原理设计的对照试验，经过对照组和试验组的采样样本分析来推断某个假设是否对整体样本成立。在科学研究领域被用做最高水平的检验方法，在产业上被应用在医疗临床3期，农业试验田，广告营销设计优化，互联网产品迭代优化，互联网流量运营转化率优化，选举策略优化等场景。

广告之父 David Ogilvy：测试不息，增加不止

A/B测试的三大特性：鲜艳、并行、科学

先验性： A/B 测试结果属于预测型结论，与“后验”的概括性结论差异巨大。后验的方式是先将版本发布，再经过数据验证效果，而 A/B 测试用不多的样本量来推断新版本在全流量下的效果。

并行性： A/B 测试将两个或以上的方案同时在线试验，保证每一个版本所处环境的一致性，同时节省了验证的时间，无需在验证完一个版本以后再测试另外一个。

科学性： A/B 测试的正确作法是将类似特征的用户均匀的分配到试验组中，确保每一个组别的用户特征的类似性，从而避免辛普森悖论。

A/B测试试验是产生用户阻力的地方，也是增加前进的核心动力。

转化率优化之轮

A/B测试的实施流程

不一样平台因技术实现方式不一样而在实施流程上有所差别，不可能在一篇文章中所有覆盖，那么咱们就以相对成熟完善的 AppAdhoc A/B Testing 为例展开：

1.试验设计：

根据假设肯定试验项目的设计，包括试验版本和变量，试验触发条件，试验针对的用户受众，试验流量分配，优化指标等等。

2.试验配置：

对H5或广告着陆页等场景的试验，设置触发条件，好比彻底匹配URL或者模糊匹配URL。若是试验是定向针对部分用户群体的，设置受众定向，好比小米Mix2手机用户。

3.建立试验版本：

对于UI布局，banner图片，文案，配色等试验，可使用可视化编辑器来编辑生成试验版本；对于广告着陆页等试验，可使用多连接试验来直接把不一样的URL看成不一样的试验版原本对比；对于新功能灰度发布，后端算法调整，结构改版等试验，可使用编程模式自定义试验变量，请工程师来将变量集成到代码里。

4.设定优化指标：

对于用户行为类优化指标，好比按钮点击、图片点击、URL跳转等，可使用可视化编辑器来埋点；对于须要代码计算的指标，好比收费金额等，可使用编程模式自定义指标，请工程师将指标埋点集成到代码里。

5.QA调试和上线：

使用内部测试机器来调试原始版本和试验版本，检查版本是否符合试验设计，检查系统是否能正确收集到调试数据。对于App编程模式试验，经过QA调试以后，可能须要将新版App代码上线应用商店。

6.流量分配：

通常先给试验分配小流量，好比10%流量，其中5%给原始版本，5%给试验版本。若是没有bug和数据异常，再逐步提升试验流量到20%，50%，100%。注意尽可能保证原始版本和试验版本的流量相等。

7.数据分析：

实时检查试验数据，观察试验版本优化指标的置信区间来判断试验假设是否正确。

更清晰的后台可点击这里免费注册体验

点睛

A/B测试，每每会被看作一种黑客增加工具。然而，A/B测试并非一个仅仅知足人们短时间增加目标的兴奋剂，而是一个有目标、有追求的公司所要坚持的企业文化和增加文化。2011年得到诺贝尔生理学奖的日本教授山中伸弥，因实现了细胞逆向重编程（可以让任何细胞退回到受精卵阶段成为IPS万能细胞），在京都大学召开记者招待会上，他说了这样一番话：“在此以前，个人实验屡屡失败。10次实验，最多能有1次成功。可是即使如此，我仍是会不断在细节上作出调整，提升精准度，在进行下一次的实验。在过去的20多年时间里，我一直在持续不断作实验，我终于成功了。”这个世界只有兢兢业业的创业人，却从未有马马虎虎的成功者。