A/Btest——视觉设计与数据增加擦出的火花

做者：囧小su

​

在平常的产品和运营设计中，常常会有不少直觉性的想法，经过一些经验分析或者竞品参考等猜测是否是某一种设计样式会更好或者某一种设计策略会更成功。

然而，直觉的判断一般都偏感性，跟思考者的工做经验和审美观更相关，咱们以为用户想要的东西是否真的是用户想要的呢？

若是说设想的提出阶段属于事物的认知层面，那么设想的验证阶段则属于逻辑推理层面。

如何有效的对设想进行验证？

在告别了人口红利期后，现阶段互联网产品更可能是在考虑用户已固定的使用习惯的基础上，经过科学严谨的方式完善设计体验，这个阶段数据验证十分重要。

而A/Btest就是一种能够快速对比验证数据的有效手段。

什么是A/Btest？

方法概述

简单来讲，A/Btest在产品优化中的应用方法是：在产品正式迭代发版以前，为同一个目标制定两个（或以上）方案，将用户流量对应分红几组，在保证每组用户特征相同的前提下，让用户分别看到不一样的方案设计，根据几组用户的真实数据反馈，科学的帮助产品进行决策。

适用场景

1. 广告下载页（可经过测试提高下载的转化率）

2. 运营活动H5（可经过测试提高下载或页面分享的转化率）

3. APP用户体验（可经过测试进行产品可用性验证及功能点击率的转化提高）

等等一切但愿经过数据验证不一样假设方案的可行性的页面

可测试内容

1. 视觉设计样式（例：按钮颜色、插画内容）

2. 产品文案内容（例：当即下载/当即使用）

3. 页面布局（例：列表布局/卡片布局/瀑布流布局）

4. 交互体验（例：长按删除/右滑删除）

5. 产品功能

6. 推荐算法（例：在用户已连WiFi状况下推荐网络加速/在用户已连WiFi状况下推荐新闻资讯）

等等一切能够拆分不一样方案进行对比的内容

但在实际操做中远没有这么简单，如何寻找A/Btest的测试点？如何制定有效的A/Btest计划？如何判断设计方案是否与目标数据相关联？这些都是接下来会一一为你们解析的。

如何进行A/Btest？

第一步：明确测试目标（目标要明确能够直观量化，颗粒度要尽可能细）

测试目标大体能够分为两大类，他们的来源也各不相同。

简单目标：例如广告页面的点曝比、新上线功能的UV，这类目标一般来源于产品需求，或功能上线后的数据反馈，是比较直观的有明确修改点的。

复杂目标：它能够是来源于项目的KPI，例如新手期的激活、成熟期的商业化、流失期的用户回流率等等。但具体ABtest的点必须是要细化到能够直观量化的，好比新手期的激活引导的点击率，成熟期的商业化广告点曝比，流失期的用户召回push的点击进入率等等。这里以WiFi管家的用户留存为例，解释下如何寻找复杂目标是如何被量化拆分更精细的颗粒度的。

第二步：找到关键提高点（拆分流程中可提高的指标）

折损点能够经过后台漏斗数据分析等发现，对用户使用时的流程步骤进行拆分，看看流程中有哪些关键的转化节点是有提高可能性的，或者哪些点是能够和测试目标直接相关联的。

如在提高广告页面点曝比的时候咱们能够分析当前广告页的各类元素，以及他们可能会和点曝比的相关性，例如：广告主打的宣传文案和广告总体的画面设计感。

而在提高用户留存的案例里面咱们发现有超过半数的用户无任何操做离开，继续深挖各漏斗节点发现全部新用户中有不少的新用户都是没有开启权限而且没法对页面进行任何操做的

第三步：设计实验样本（排除无关因素和实验样本间的明显差别）

设计实验条件的时候要充分分析问题的影响因素，排除一些和结果没有明显关联的因素，设计实验样本时须要结合经验避免一些很明显的差别。

交叉型样本：

找到可能对现有版本的实验目标相关的影响因素并一一列出，经过交叉的方式进行从新组合产生实验样本，此时A/Btest的实验样本为旧方案+A方案+B方案

定量型样本：

固定元素不变的状况下调整其余可能的影响因素，查看实验结果，此时A/Btest的实验样本为旧方案+A1方案+A2方案

以WiFi管家为例，咱们在触发条件相同的状况下对于资讯Push（同类别同文案），设计不一样的触发器：图片or按钮，测试图片和按钮对于用户的点击欲望是否会有影响。

改善型样本：

咱们能够经过走查线上版本定位体验问题，提出改进假设进行优化设计，此时A/Btest的实验样本为旧方案+新方案（新方案肯定好大方向后又能够继续进行单点的优化测试）

以WiFi管家为例，咱们的目标是提高用户的页面操做率从而达到提高留存的做用，设计对应数据折损点找到关键界面，结合用户画像和产品操做功能排名制定设计策略

1.【新用户】功能激活的引导

2.【无权限用户】进行开启权限的引导

3.【无WiFi用户】进行其余功能挽回

第四步：上线测试（尽量的下降全部实验样本的测试环境差异）

精准的A/Btest流程和注意事项：

1. 不一样版本方案并行（同时）上线试验，尽量的下降全部版本的测试环境差异

2. 科学的进行流量分配，保证每一个实验样本的用户特征相相似

3. 让用户展示对不一样版本的真实使用体验，产品则应实时关注各版本的数据表现，并根据数据反馈及时调整试验流量

4. 在分析实验总体数据的同时，须要从多个维度细分考量试验数据结果，除了当前A/Btest的测试点埋点之外还须要注意其余可能被影响的环节

非精准A/Btest流程和注意事项：

由于并非每一个项目均可以进行A/Btest，有些是由于项目并无支持A/Btest的能力，有些是由于想要发布的平台并不支持严格意义的A/Btest（好比电子市场），但又想看看不一样设计样式对于数据的影响那么就尽可能遵循如下原则进行测试

1. 尽可能保证试验版本的用户特征相相似，如渠道来源相同

2. 尽可能避开节假日等会对数据波动形成短时间较大影响的时间段

3. 不一样实验样本保证一样的实验时常，尽可能取上线后数据较为稳定时段的平均值

第五步：回收数据并记录（得出最优方案后全量下发）

最后建议设计师本身整理本身的数据记录表格，记录下本身的设计策略和方法，培养解决问题的思惟方式以及作好数据闭环的良好习惯。

关注【IVWEB社区】公众号获取每周最新文章，通往人生之巅！