A/B 测试一般用来测量两个或多个方案在某一单一维度上的绩效表现。通俗的说，就是用尽量科学严谨的方法，对比方案之间的优劣。这种方法虽然是穿白大褂的科学家发明并用于科学实验，但如今它已经被善于借鉴的市场专家、用户体验专家们普遍地应用在市场研究、产品界面方案评估等更“感性”的领域。app
对于界面改进设计，A/B测试一般由控制版本和对照版本组成，即A为当前线上方案，B为改进方案。经过小流量线上平台测试，考察对方案评估比较重要的绩效数据，如点击率、停留时间、出错率等。ide
为何要进行A/B测试？布局
首先，在用户体验行业，哪一个方案好哪一个方案要被拍掉这样的讨论、辩论、争论无时无刻不在世界各地重复上演。不知道听谁的，主要是由于你们的理由都来自于“推理”。虽然UCD已经深刻人心，但仍然避免不了博弈各方自夸为用户代言人，推想用户的行为。而此时，A/B测试的威力就变得特别显眼。它在用于界面方案评估时能够提供客观、准确的数据。哪一种方案点击率高、哪一种方案更有利于将用户的点击转化为在线购买行为等问题，能够经过数据得到清晰、明确的结论。让数听说话，你们不知道要少费多少口舌，为公司省下多少矿泉水呢。
post
第二，A/B测试不只能够回答哪一种方案好的问题，更有可能回答好多少的问题。在平常设计中，常常出现这样的困扰：在一番厮杀博弈后，已经没有人怀疑新设计方案能比原方案有更好的效果。但至此，还不能天真地认为万事大吉了。方案仍然会被质疑：“为了这一点效果的改善，是否值得动用宝贵的开发资源？”若是此时可使用A/B测试，定量的回答新方案比原方案在关键指标上的改善率，则能够有效的评估成本和效益，帮助进行设计决策。值不值得给研发密密麻麻的排期表上再添一行，你们内心都更清楚了一些。
测试
测试哪些内容？spa
整体上说，任何可让用户的行为形成变化的内容均可以进行A/B测试。但在界面设计中，常常进行如下内容的测试：设计
- 按键大小、颜色、位置
- 标题、文案风格
- 文字长度、大小、间隔
- 表单数量、字段类型
- 页面布局、结构
- ……
一次只改变一个变量3d
在设计A/B测试时，每次测试，不管对比方案有多少，都只能在一个地方进行改动。blog
若是你发现，按钮大小和颜色均可能影响该按钮的点击率，那么你须要分别进行三组测试。第一组，只变化按钮的大小，其余方面均保持不变；第二组实验则只变化按钮颜色。若是你对比的方案中，既有按钮大小的变化又有按钮颜色的变化，那么在分析结果时则彻底没法分清，某方案的绩效改善究竟是由哪一个因素决定的。
事件
足够的流量
在不少时候，A/B测试不是一种快速的研究方法，你须要耐心的积累数据流量。若是流量不够，咱们则没法区分考察点的绩效差别是因为方案不一样形成的仍是因为样本量的偶然因素形成的。此外，还应该避免流量的巨大波动。每每访问量的异动一般是受到某些突发偶然事件的影响，没法真实反映出实验的效果。
拉开方案之间的距离
测试方案之间应该保证必定程度的差别，这样能够最大程度地提升测试的效率。若是对比方案间差别太小，一方面测试结果有可能没法发现统计学上有意义的明显差别。另外一方面，即便方案差别明显，也不易进行下一步测试。举个例子，若是你发现12X12的图标比11X11的图标方案效果更好，那么你是否是须要实验一下13X13呢？若是13X13好，那么14X14呢？这样下去可能须要太多轮测试，你才能发现原来20X20的图标效果最好。因此，步子迈得大一些，能够更快的找到答案。
总之，AB测试是一种行之有效、丰俭由人、可庞大可迷你的不错的研究方法。正确的使用会带来事半功倍的效果。从今天开始，大胆的AB一下吧！AB测试是一种态度，AB测试是一种生活方式…