我在 Expedia 跟数百万用户学到的 AB 测试原理

在我仍是Expedia网站创新经理的时候，这个角色要求我深刻网站找到更多被忽视的区域（一般是落地页），并与设计师和开发人员一块儿改进它们，这意味着不少AB测试。这些被忽视的有着数百万独立访客的落地页，被证实是使人难以置信的AB测试训练场。

在作这份工做的时候，我看了不少关于AB测试的文章，直到今天依然如此，但我发现这些好建议里有一个很大的缺陷。这些中的大多数彷佛在尝试推销给你一些类型的测试包或重复暗示例如按钮颜色提供了50%的转化，从个人角度看，这些做者甚至没有本身作过AB测试。

我从对数百万用户进行的AB测试中总结了一些经验和技巧，但愿能帮到你。

1.首先关注大变化

很显然不少人都知道这条，但若是你想测试着陆页，建议从彻底不一样的开始。像按钮颜色这样增量变化的测试当且仅当你认为网页的其他部分已优化，而且一般不能再获得你认为那么大的杠杆的时候进行。

2.总体与部分的总和不一样

有些人认为，在某种程度上，经过测试彻底不一样的页面，你不能知道什么元素正在推动改进。固然，确实如此，准确地了解影响的来源与测试结果是须要由你来平衡的。话虽然这么说，但这种思惟假定了不存在的离散性，忽略了页面元素与设计体验之间的关系。没有什么是孤立存在的——例如，增长一个连接的点击可能会牺牲另外一个的点击。

此外，正如我在第一点提到的，对个别元素的测试应该滞后。

3.跳出率优化不必定能提升转换率

这可能不够直观，但我无数次看到跳出率的优化并无带来转化率的相应改善，最坏的状况，实际上还致使了转化率的降低。为何呢？不可能彻底知道，但一个明显的解释是，你“欺骗”一个用户沿着他们不想要的路径，或者“欺骗”你本身，认为这个路径将提供转化。

例如，在一个带有“了解更多”字样的页面上引入一个大按钮可能会诱令人们点击它。很不错，但那又怎样？你能够向用户提供该信息，而不须要点击。你改善了跳出，但没能优化转化。

这是很明显的一个例子。真实AB测试可能更细微。在落地页上展现更优惠的广告可能会吸引用户点击产品信息，但若是广告与客户的相关性不高，还会对转化机会有不利影响。

4.关于跳出率的另外一个有用的注释

即便假设跳出率的改善一样也带来了转化的改善，你也没法比较跳出率改善跟转化改善。它们的相关性没法肯定，这里用一个例子说明这一点：

假设你有一个在线业务出手 Patrick Swayze 电影的 DVD，你对落地页进行了一些设计更改，跳出率从20%优化到10%，50%的改善，这个数字很不错！所以，你应该会看到转化率也能提升50%？不是这样的。跳出率显示了多少人离开你的网站，而不是留下来的百分比。所以，你须要考虑的是留存率而不是转化率。你看到的是留存率从80%提升到90%，提升了12.5%。你想象不到我必需要对多少人解释这一点。

5.了解统计学

他们说，对经济学的基本理解不什么都不懂还差。在不了解供需经济学的细微差异和假设的状况下解读供需经济学的影响，会致使对不值得的结论有很大的信心。

统计学也如此。可悲的是，一些AB测试从业者甚至不理解他们从事的是纯粹的统计工做。与大多数对知识的错误使用同样，不多会出现“我不知道哪一个更好”的状况，更多的会致使假阳性结果。

我不会在统计数据记录一个崩溃的过程，但这里有一对经验法则

测试结果的差别越小，得出结论所需的样本量越大

除非结果是压倒性的，每一个测试桶须要至少1000个（可能更多）的独立访客来得出一个值得采纳的结论

6.用户行为须要适应时间

若是你的网站已经有至关数量的重复/忠实用户，那么你须要运行AB测试很长时间，而后才能依赖数据。为何？由于用户已经习惯了与现有网站的交互。引入新功能或设计可能会形成混乱并下降性能。另外一方面，新功能/设计可能足够新颖于是引发了更多参与，但这并不能表明长期使用。

这里没有别的经验，就是运行测试，运行足够长时间的测试。在某些状况下，你可能须要运行测试至少一个月，以了解更改的长期影响。观察数据趋势，并在看到趋势稳定后对其结果更有信心。

结论：AB测试是对良好设计实践的有益补充，而不是替代

须要有一个平衡。不能过于依赖AB测试而不理解其局限性，也不能彻底拒绝AB测试。最理想的状况应该是有一位了解多变量测试的设计师。

本文由吆喝科技编译自：http://www.throwww.com/a/1ke