一线大厂解读:最懂你的推荐系统,是怎么搭建的?|大数据

获取信息是人类认知世界、生存发展的刚需,搜索和分类导航是比较经常使用的方式,好比聚餐想吃火锅的时候会在大众点评输入火锅检索,搜索引擎会根据价格、地点、好评率等因素综合排序,给你一个最匹配的结果。算法

这是一种主动获取信息的方式。但不少时候会出现这种状况,你的浏览行为是无目的性的,好比看淘宝主页的猜你喜欢、百度封面的推荐阅读、刷抖音时接连出现的视频……框架

在大数据环境下,这种被动接受信息的懒人式信息获取方式被更多的人接受,推荐系统(Recommendation System)俨然成为一种标配了,一款APP若是连推荐系统都没有,都很差意思拿出手。机器学习

而在电商领域,推荐的价值在于挖掘用户潜在购买需求,缩短用户到商品的距离,提高用户的购物体验,像亚马逊、Netflix都经过推荐系统产生了极大的商业利润,亚马逊整个体系中已经有20%~30% 的 GMV 是经过推荐带来的,****推荐系统每一年为Netflix产生的商业价值就超过10亿美圆。学习

一个完整的推荐系统主要包括数据建模、用户建模、推荐引擎3个部分。如图1所示:大数据

数据建模:负责对拟推荐的物品数据进行准备,将其表示成有利于分析的数据形式,肯定要推荐给用户的候选物品,并对物品进行分类、聚类等预处理。优化

用户建模:负责对用户的行为信息进行分析,从而得到用户的潜在喜爱。用户的行为信息包括问答、评分、购买、下载、浏览、收藏、停留时间等。搜索引擎

推荐引擎:利用后台的推荐算法,实时地从候选物品集合中筛选出用户感兴趣的物品,排序后以列表的形式向用户推荐。推荐引擎是推荐系统的核心部分,也是最耗系统资源和时间的部分。orm

这三部分总结起来就是:推荐算法选择认为合适的(效果好的)的算法模型,将算法模型部署到线上推荐业务中,利用算法模型来预测用户对物品的偏好,经过用户的真实反馈(是否点击、是否购买、是否收藏等)来评估算法效果,它的本质上就是一个机器学习问题。cdn

那么推荐召回是怎么回事?如何正确使用合适的算法模型?TB、PB级别的数据涌入对算法模型的选取有哪些影响?该如何优化?有哪些开源大数据推荐软件?视频

本期菜鸟窝邀请到阿里算法工程师sam开设了一堂免费直播课,他在推荐系统和内容理解方面有丰富经验,曾就任德企作无人驾驶相关工做,熟练掌握MapReduce、 Spark 、Hive等大数据处理框架,Pytorch、Tensorflow等深度学习框架,熟悉各种机器学习算法。


Chris老师 阿里算法工程师

7年+算法从业经验,现任职于阿里,曾领导搭建某上市游戏平台算法团队,在智能数据、机器学习、深度学习算法落地等方向有丰富的实践经验。

内容精华:

1.什么是推荐系统
2.推荐系统评测
3.推荐系统经常使用流程(召回、排序、打散)
4.推荐系统三个重要模块
5.推荐系统和大数据是如何碰撞出火花的

推荐系统的视频讲解请戳连接:https://www.cniao5.com/course/10244
勾搭助教weixin:BT474849,免费加入高手汇集的大数据学习交流群~
相关文章
相关标签/搜索