最近学到的ABTest知识

前言

> 只有光头才能变强。

> 文本已收录至个人GitHub仓库，欢迎Star：https://github.com/ZhongFuCheng3y/3y

若是以前看过我文章的同窗就知道我在工做中搞的是推送系统，以前写过一篇 带你了解什么是Push消息推送，里面也提到了咱们或许能够作ABTest，最终提升推送消息的点击率。

那什么是ABTest呢？这篇文章带大家入门一下。

1、ABTest的介绍

好比我写了一篇关于ABTest的文章，我但愿这篇文章的阅读量能上2500，可是我没想好标题叫什么比较合适。一条推文的标题很是能影响到阅读量，因而我想了几个的标题：

• 最近我学到的AbTest知识
• AbTest入门

而我不知道哪一个标题效果会更好一些，因而我作了这么一个尝试：

1. 《最近我学到的AbTest知识》这个标题推送给10%的用户
2. 《AbTest入门》这个标题推送给10%的用户
3. 过一段时间后，我看一下效果，哪一个标题的阅读量更高，我就将效果高的标题推送给剩余80%的用户

要注意的是：在推送的文章的时候，除了标题不一样，其余因素都须要相同（不能被别的因素给干扰），这样看数据的时候才有说服力。

1.1为何要作ABTest？

作ABTest的缘由其实很简单，咱们在作业务的时候会有各类各样的想法，好比说：

• “我以为在文案上加入emoji表情，这个推送的消息的点击率确定高”
• “我以为这个按钮/图片换成别的颜色，转化率确定会提升”
• “我以为首页就应该设计成这样，还有图墙应该是这样这样..“
• .....

可是，并不是全部的想法都是正确的，极可能由于你的想法把首页的样式改掉，用户不喜欢，就影响到了GMV等等等....

一个好的产品都是迭代出来的，而咱们极可能不清楚此次的迭代最终是好是坏（至少咱们是以为迭代对用户是好的，是有帮助的，对公司的转化也是好的），可是咱们的用户未必就买帐。

因而，为了下降试错成本，咱们就作ABTest。一个功能作出来，咱们只放小流量看下效果，若是效果比原来的功能差，那极可能咱们这个想法没有达到预期。若是小流量效果比预期要好，再逐步加大流量，直至全量。

2、怎么作ABTest？

从上面的案例，其实咱们大概知道，ABTest最主要作的就是一个分流的事

• 将10%流量分给用户群体A
• 将10%流量分给用户群体A

咱们须要保证的是：一个用户再次请求进来，用户看到的结果是同样的

好比说，我访问了Java3y，他的简介是：“一个坚持原创的Java技术公众号“。而一个小时后，我再访问了他一次，他的简介是：“一个干货满满的技术号“。而一个小时事后，我又访问了他一次，他的简介是：“一个坚持原创的Java技术公众号“。

这是不合理的，理应上用户在一段时间内，看到的内容是相同的，否则就给用户带来一种错乱感。

OK，因而通常能够这样作：

• 对用户ID(设备ID/CookieId/userId/openId)取hash值，每次Hash的结果都是相同的。
• 直接取用户ID的某一位

如今看起来，ABTest好像就是一个分流的东西，只是取了个高大尚的名字叫作ABTest。

2.1 ABTest更多的内容

假如我作了一个UI层面上的ABTest，占用全站的流量80%，如今我还想作搜索结果的ABTest怎么办？只能用剩下的20%了？那个人流量不够用啊（我可能要作各类实验的呢）。UI层面上的ABTest和搜索结果的ABTest能不能同时进行啊？

答案是能够的。由于UI层面和搜索结果(算法优化)的业务关联性是很低的。若是要作“同一份流量同时作UI层面上和搜索结果的ABTest”，那要保证“在UI层面作的ABTest不能影响到搜索结果的ABTest”

• 业界应用最多的，是可重叠分层分桶方法
• 层与层之间的流量互不干扰，这就是不少文章所讲的正交(流量在每一层都会被从新打散)

咱们就能够这样干：经过 Hash(userId, LayerId) % 1000 相似的办法来实现

• 每一层的实验无论有多少个，对其余层的影响都是均匀的

> 个人理解： > > 为了实现UI/算法/广告 这些业务上没什么关联的，可以使用同一份流量作ABTest测试，因此分了层。流量通过每一层都须要将流量从新打散(正交)----每层实验后，不会影响到下一层的实验 > > 若是业务关联强的应该放在同一层，同一层多个实验是互斥的（好比 一个按钮颜色改成绿色做为一个实验，一个按钮的样式改为大拇指做为一个实验。这两个实验的流量是要互斥的（否则你咋知道用户是由于你的按钮颜色仍是样式而点击）

最后

一个完整的ABTest系统，不仅仅只作分流，还会给用户(咱们程序员)提供一个方即可配置的后台系统，作完实验提供数据报表展现等等等~

> 微信公众号不支持外链，在后台回复“AB”获得更多的ABTest资料

参考资料：

• https://oldj.net/blog/tag/a-b
• https://www.infoq.cn/article/BuP18dsaPyAg-hflDxPf
• https://www.jianshu.com/p/de8d9f0b14f4
• https://liyaoli.com/2018-04-29/about-ab-test-and-gated-launch.html
• https://zhuanlan.zhihu.com/p/25319221
• https://zhuanlan.zhihu.com/p/52424409
• https://qiankunli.github.io/2018/06/27/abtest.html

> 乐于输出干货的Java技术公众号：Java3y。公众号内有200多篇原创技术文章、海量视频资源、精美脑图，关注便可获取！

以为个人文章写得不错，点赞！

近期推荐：最低价购买云服务器+搭建教程