个性化推荐系统（七）--- ABTest ab测试平台

       个性化推荐系统、搜索引擎、广告系统，这些系统都须要在线上不断上线，不断优化，优化以后怎么肯定是好是坏。这时就须要ABTest来肯定，最近想的办法、优化的算法、优化的逻辑数据是正向的，是有意义的，是提高数据效果的。

        ab需求能方便测试，提供界面快速调整流量，调整流量后可以方便看效果变化，以及不一样ab分支算法对比究竟是a算法好、仍是b算法好、仍是c算法好。再有就是白名单配置上线新算法时，实现新算法上线测试，验证程序是否正确。

        根据ABtest需求，系统有三个大的系统构成。一个系统是ABTest配置管理平台用于管理每一个ab需求。一个是ABTest实时分流服务，根据用户设备信息、用户信息进行ab分流。一个系统是实时效果分析统计，将分流后程序点击、浏览、gmv转化经过hive、hadoop程序统计后，在统计平台上进行展现。

        ABTest配置管理平台，平台设计为每个ab测试生成惟一id，围绕id生成测试对象，对象包含各类分组配置，每一组分组配置包含生效时间。配置管理用户白名单，白名单用户会直接分配到配置分流，而不根据算法计算分配到某个分支，白名单既能对分支算法进行测试，避免找多个用户看用户是否在须要测试算法分支，当产品、运营须要看当前新算法推出文章、商品究竟是什么状况也可经过白名单方便实现。

        在线实时分流服务目的是提供一个通用线上服务计算分流，返回分流结果。线上服务根据ab分流选择算法路径给用户提供个性化数据。ab服务实现须要先判断用户是否在白名单中，在白名单中直接将白名单配置分流返回。

       实时分流服务算法设计为接口，接口便是协议实现接口算法皆可用以线上分流，现平台用设备尾号进行hash以保证用户流量均分，避免流量未打散、均分致使线上效果受影响。这一块还能够进行分层支持，分层ab好处是能够同时进行大量ab算法。能快速同时进行多组线上实验，快速找到好的方法提高线上效果。

        实时分流服务做为基础服务，线上全部业务服务都会访问，算法正确性、服务稳定性、性能都极其重要。分流算法正确性服务先在线上试运行，一段时间后基本没有问题。稳定性、性能须要极高由于线上服务均要调用它。架构设计方式配置管理平台配置信息要缓存到本地缓存中，避免每次用户请求请求mysql数据库，每分钟几百万次请求这对数据库是灾难。当配置有变化后经过zookeeper通知变化，或定时30s去拉去配置都是很好的实现。性能要好由于线上服务均依赖它，它慢会致使线上服务慢。算法实现要简单明了，避免没必要要循环以及逻辑，这点可经过review来保证。

        统计分析平台，有了好用的配置管理平台，方便高性能的线上服务，统计分析做为逻辑、算法、优化是否有意义最终标准。要求是实时数据、离线数据统计能经过图表方便直观查到，而且数据要正确有必定延时能够接受、准确性是更重要的指标。

        经过ABTest平台方便咱们不单单方便作搜索引擎、推荐系统持续优化，其实线上UI、文案等各类优化，都可以经过ab来科学、直观、方便分析，究竟是正向效果、没有效果、仍是负向效果，讲科学避免拍脑壳。ab白名单还能够用来提供服务白名单服务，结合日志服务实现线上白名单服务，既方便定位问题，又能避免大量日志致使线上服务性能差。

        微信搜索：mydevclub

        微信扫码或长按二维码：