360推荐系统架构演进

360推荐系统架构演进

　　当下，个性化推荐成了互联网产品的标配。可是，人们对推荐该如何来作，也就是推荐技术自己，还不甚了解。为此，好学的你确定在收藏着朋友圈里流传的相关文章，转发着微博上的相关讨论话题，甚至还会不断奔走在各类大小行业会议之间，听着大厂职工们讲那些干货。我知道，这样碎片化的吸取，增长了知识的同时，也增长了焦虑。由于技术的不平等普遍存在于业界内，推荐系统也不例外。推荐系统从搜索引擎借鉴了很多技术和思想，好比内容推荐有很多技术就来自搜索引擎， 由 Amazon 发扬光大的。推荐系统也是如今热门的人工智能分支之一，但凡人工智能类的落地，都须要具有这几个基本元素才行：数据、算法、场景、计算力。推荐系统也不例外，而恰好，如今的时代，这些元素的得到成本相比十年前已经小了不少。将来随着各类硬件设备愈来愈智能，万物互联得愈来愈紧密，人们的个性化需求、场景的多样性、数据的复杂性都对推荐系统提出了更高的要求。

　　推荐系统归纳一下，其实就是如下的的目标主要包括： 

　　用户满意性：首当其冲的，推荐系统主要就是为了知足用户的需求，所以准确率是评判一个推荐系统好坏的最关键指标。

　　多样性：虽然推荐系统最主要仍是知足用户的兴趣，可是也要兼顾内容的多样性，对于权重不一样的兴趣都要作到兼顾。

　　新颖性：用户看到的内容是那些他们以前没有据说过的物品。简单的作法就是在推荐列表去掉用户以前有过行为的那些内容。

　　惊喜度：和新颖性相似，但新颖性只是用户没看到过的可是确实是和他行为是相关的，而惊喜度是用户既没有看过和他以前的行为也不相关，但用户看到后的确是喜欢的。

　　实时性：推荐系统要根据用户的上下文来实时更新推荐内容，用户的兴趣也是随着时间而改变的，须要实时更新。

　　推荐透明度：对于用户看到的最终结果，要让用户知道推荐此内容的缘由。好比，“买过这本书的人同时也买过”、”你购买过的xx和此商品相似”。

　　覆盖率：挖掘长尾内容也是推荐系统很重要的目标。所以，推荐的内容覆盖到的内容越多越好。

　　基于这些目标，推荐系统包括四种推荐方式：

　　热门推荐：就是热门排行榜的概念。这种推荐方式不只仅在IT系统，在日常的生活中也是到处存在的。这应该是效果最好的一种推荐方式，毕竟热门推荐的物品都是位于曝光量比较高的位置的。

　　人工推荐：人工干预的推荐内容。相比于依赖热门和算法来进行推荐。一些热点时事如世界杯、nba总决赛等就须要人工加入推荐列表。另外一方面，热点新闻带来的推荐效果也是很高的。

　　相关推荐：相关推荐有点相似于关联规则的个性化推荐，就是在你阅读一个内容的时候，会提示你阅读与此相关的内容。

　　个性化推荐：基于用户的历史行为作出的内容推荐。也是本文主要讲述的内容。

　　其中，前三者是和机器学习没有任何关系的，但倒是推荐效果最好的三种方式。通常说来，这部份内容应该占到总的推荐内容的80%左右，另外20%则是对长尾内容的个性化推荐。

　　从框架的角度看，推荐系统基本能够分为数据层、召回层、排序层。

　　数据层包括数据生成和数据存储，主要是利用各类数据处理工具对原始日志进行清洗，处理成格式化的数据，落地到不一样类型的存储系统中，供下游的算法和模型使用。

召回层主要是从用户的历史行为、实时行为等角度利用各类触发策略产生推荐的候选集，对不一样的策略和算法产生的候选集进行融合并按照产品规则进行过滤，通常融合和过滤后的候选集仍是比较多的，一次线上请求过来以后线上系统没法对那么多的候选集进行排序，因此在召回层通常还会有粗排序，对融合的候选集进行一次粗排序，过滤掉粗排分数较低的候选集。

　　排序层主要是利用机器学习的模型对召回层筛选出来的候选集进行精排序。

　　总结：推荐系统的架构流程图和每个模块的做用必定要了解，通常会让你一边画流程图一边讲解每一个模块。召回模块通常就是在作候选集筛选和粗排序，缘由是item太多了，一个user的请求过来线上系统不能在100ms之内对全部的item进行排序。

文章来源：

https://blog.csdn.net/li12412414/article/details/82703432