聊聊淘宝天猫个性化推荐技术演进史

引言：个性化推荐技术直面用户，能够说是站在最前线的那个。现在，从用户打开手机淘宝客户端（简称“手淘”）或是手机天猫客户端（简称“猫客”）的那一刻起，个性化推荐技术就已经启动，为你我带来一场个性化的购物之旅。本文将细数个性化推荐的一路风雨，讲讲个性化推荐技术的演进史。
本文选自[《尽在双11——阿里巴巴技术演进与超越》。

一、个性化推荐All-in无线

　　无线个性化推荐起步于2013年10月。如今往回看，当时的阿里很好地把握住了移动端快速发展的浪潮，以集团All-in无线的形式吹响了移动端战斗的号角。个性化推荐团队也是从All-in无线这一事件中孵化的。咱们从零开始搭建了个性化推荐算法体系及个性化算法平台TPP。TPP这一个性化算法平台对个性化推荐团队的成长起到了相当重要的做用。基于TPP，个性化算法团队成员们验证算法的速度获得了极大的提升，优化算法的速度从而也获得了极大的提升。仅仅花了不到两个月的时间，个性化推荐的初版算法就在“有好货” 中初露锋芒：结合基于主动学习的选品算法平台TSP，个性化推荐团队一举打造了“有好货”针对高端人群的优质导购体验。
　　2014年，随着个性化推荐算法团队对业务问题有了更好理解，以及技术研发的深刻，咱们逐步开发并上线了排序引擎RTP、标签探索算法PairTag及在线学习引擎Olive（以下图所示）等多项核心技术。个性化推荐算法也所以被快速地应用到“发现好店”、“爱逛街”、“猜你喜欢”及购物链路等手淘的各个主要场景中。其中，手淘底部的“猜你喜欢”商品瀑布流推荐是亿万用户天天登陆手淘后必逛的场景，为人们搜寻和发掘本身喜爱的商品提供了便捷的渠道。“猜你喜欢”也一举成为中国电商中最大的推荐产品。

　　　　　　　　　　　　　　　　　　　　　　　　　　　Olive流程图

　　正是在All-in无线后的这一年，个性化推荐开始在阿里逐步成长起来。

二、 个性化推荐初逢双11

　　2015年，个性化推荐第一次在双11中大放异彩。还记得当年9月中旬，咱们正在维也纳参加推荐系统最大的会议RecSys。逍遥子忽然来电，告知在2015年双11上要全面开启个性化推荐，随行的同事们都很兴奋，但咱们又不得不面临缺少双11实战经验的实际问题。固然，机会和风险每每是并存的。面对挑战，咱们很快开始规划进程和分工。回到杭州以后，团队全员进入备战状态，咱们的努力在双11当天获得了回报。2015年11月12日凌晨，推荐算法团队、手淘及天猫的众多小伙伴们并不以为疲乏，你们的脸上都闪烁着喜悦。个性化推荐算法在双11大放光芒，一个又一个使人瞠目的数字足觉得证。个性化推荐的第一战场“双11主会场”更是自双11开展多年以来首次达到了个位数的跳失率，其引导人数和人均引导页面数都是前一年的2～3倍。不得不说，这些使人振奋的结果都要归功于以前两年中个性化推荐在无线端的落地。
　　2015年双11主会场个性化算法（即“天坑一号”，以下图）包括三个层次：楼层顺序个性化、楼层内坑位个性化、坑位素材个性化。这三个层次自顶向下，在用户体验上造成一套完整的方案。其中：

• 楼层顺序个性化使得女神看到的楼层顺序多是女装、美妆、天猫国际等，欧巴看到的楼层顺序多是男装、旅行、数码等。

• 楼层内坑位内容个性化，使得在同一个楼层内，不一样用户看到的商品或店铺不一样，好比一样都是美食控，喜欢辣味的用户可能看见麻辣牛肉干，喜欢甜味的用户可能看见巧克力。

• 坑位内容素材个性化，使得同一个楼层的同一个坑位，即使算法预测两个用户都须要巧克力，但一个喜欢费列罗而另外一个喜欢德芙，也会在入口图上展现不一样的品牌。 　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 “天坑一号”个性化主会场示意图

这三层个性化中涉及多策略推荐算法、排序学习、合图等多项技术。整个项目的进展用六个字来总结就是“时间紧任务重”。在多个团队的辛勤工做及紧密协做下，咱们第一次全方位地将自All-in以来所积累的个性化推荐技术用于如此复杂的场景之中。
　　个性化推荐在“双11主会场”取得成功的因素有不少。其中，最值得称道的莫过于“首图个性化”。在指甲壳大小的空间上，咱们对产品创意素材和文字进行精雕细琢和个性化投放。这一改变极大地提高了用户活跃度，并催生了2015年双11主会场的个性化项目。该项目的成功上线成倍地下降了会场跳失率。更重要的是，个性化推荐为用户带来了全新的无线端购物体验，而且为阿里在电商领域的茁壮成长带来了显著的助力做用。个性化推荐算法团队所以荣获2015年CEO特别贡献奖。下面引用阿里巴巴CEO逍遥子嘉奖信里的一段话：“此次双11的一大亮点是，咱们基于大数据的无线产品和技术的创新，使得整个运营效率有了大幅度提高。淘系的活跃用户获得了充分的引导和互动，获得了大量个性化的展现和推荐，事实证实了大数据的巨大威力。咱们用大数据赋能了双11，赋能了咱们本身的运营能力。”
正是在2015年双11以后，个性化推荐的故事开始为人们津津乐道。

三、 个性化推荐再战双11

　　2015年双11以后，个性化推荐团队乘风起航，继续发力。正是这一年的持续发展，使得个性化推荐在2016年双11中更进一步，遍布无线端的各个场景。包括主会场在内的几乎所有活动会场、产品都实现了个性化算法投放。个性化推荐团队的表明做“海神”以及“鲁班”（下图为鲁班批量生产的创意Banner）都是首次在双11中亮相。
　　　　　　　　　　　　
　　　　　　　　　　　　　　　　　　　　　　　鲁班批量生产的创意Banner
　　　　　　　　　　　　　　　　　　　　　　　
　　在2016年双11中，面对更为复杂的个性化需求，乐田及工程师们将全面升级后的个性化推荐完美地展示在双11主会场中。虽然2016年的双11主会场与2015年的“天坑一号”主会场极其类似，但这一次个性化推荐产品作得更为精细了。其中，GBDT+FTRL、Wide & Deep Learning和AdaptiveLearning这三项最前沿的机器学习技术被应用到了主会场的三层结构中，极大地提高了在线模型的效果及实时预测的效率。
　　除了常规的个性化推荐以外，咱们在2016年双11开始尝试融合商家流量分配的个性化推荐。逍遥子在2015年双11总结中提到：“咱们还要更上一层楼，利用大数据赋能给全部的商家，帮助他们运营好消费者，这样才能让咱们在大数据时代践行‘让天下没有难作的生意’的使命。”随着个性化场景的不断升级，商家不少时候都对流量的波动一筹莫展。对那些有运营能力的商家来讲，咱们但愿其经过更多优质的商品和优秀的服务换来更多的流量或销量上的部分肯定性。由于推荐各场景大小不1、定位差别大，有导购类场景、有成交类场景等，咱们须要根据场景自己的特性来进行流量智能调控。所以，商家赋能个性化推荐系统 — Matrix应运而生。Matrix系统主要用于调节用户体验、卖家流量诉求和投资回报率、电商平台健康度等方面的效用，平衡场景的短时间收益和长期收益。在2016年双11中，Matrix在部分场景的上线为从此的卖家赋能积累了宝贵的经验。
　　　　　　　　　　　　　　　
　　　　　　　　　　　　　　　　　　　　　　赋能商家的Matrix系统流程图

四、 个性化推荐的智能将来

　　个性化推荐从无到有，直到演进成为CEO逍遥子口中的“电商基础设施”，这一切来得极为不易。面对更具挑战的将来，个性化推荐能够作得更好、更智能，而基于全局信息的个性化推荐将会是达成这一目标的重要途径。
众所周知，个性化推荐涉及多种不一样层次、不一样粒度的子任务。从推荐内容上来讲，个性化推荐分为商品推荐、店铺推荐、品牌推荐、评论推荐等；从推荐目标上来讲，个性化推荐分为点击率预测、转化率预测、成交量预测等。虽然咱们当前设计的个性化推荐算法在TPP上实现了流程一体化，但咱们对每一个推荐场景面临的子问题倒是单独建模的。若是能从全局的角度分析用户的喜爱，个性化推荐必然可以更上一层楼。
　　2016年，咱们已经经过深度强化学习（Deep Reinforcement Learning）技术对全局信息共享下基于多任务学习　　（Multi-task Learning）的个性化推荐进行了初步探索。从数据流通链路来看（好比下图所示的手淘场景数据流通图），咱们能够很天然地将全链路多场景的推荐任务理解为推荐系统面向用户的连续决策过程。随着用户对不一样推荐场景的持续浏览和交互，推荐系统对于用户实时需求和意图的理解会愈来愈清晰，所以也能够更准确地为用户推荐更为合适的内容。深度强化学习已经在人工智能领域掀起了新的浪潮，这一技术必将成为个性化推荐智能化的最强武器。
　　　　　　　　　　　　　　
　　　　　　　　　　　　　　　　　　　　　　　手淘场景数据流通图

五、 总结

　　个性化推荐所取得的成就是一个“意料以外却情理之中”的结果。仅仅经历了短短几年的时间，淘宝和天猫就从以人工运营为主分配流量和资源位的方式成功转变为以大数据和人工智能为导向的新方式。与此同时，咱们初步创建了人工经验与算法投放协同工做的机制。自2013年年末All-in无线以来的沉淀和积累终于逐步转化成了果实。通过不断地积累和打磨，个性化推荐技术变得愈加成熟和犀利，相信个性化推荐的将来会更好。
　　本文选自《尽在双11——阿里巴巴技术演进与超越》，点此连接可在博文视点官网查看此书。
　　　　　　　　　　　　　　　　　　　　　
　　想及时得到更多精彩文章，可在微信中搜索“博文视点”或者扫描下方二维码并关注。