蚂蚁金服智能推荐引擎解决方案与实践

摘要：以“数字金融新原力(The New Force of Digital Finance)”为主题，蚂蚁金服ATEC城市峰会于2019年1月4日上海如期举办。金融智能专场分论坛上，蚂蚁金服人工智能部高级技术专家王志勇作了主题为《蚂蚁金服智能推荐引擎》的精彩分享。

演讲中，王志勇表明蚂蚁金服首次向公众介绍了蚂蚁金服智能推荐引擎，分享了蚂蚁金服利用人工智能和大数据能力在推荐引擎上沉淀的大量经验，并介绍告终合蚂蚁自身优点打造的、可以灵活适配各类业务场景的智能推荐引擎解决方案（ARE）及其能力和优点。

王志勇 蚂蚁金服人工智能部高级技术专家

首先，对“推荐”和“营销”这两个概念而言，每一个人的理解可能都各不相同。本文提到的推荐主要特指 “推荐引擎”，是为了达到高效营销这个 “目的”的一个“手段“，也就是经过推荐引擎实现更好的营销，固然推荐引擎的能力不限于帮助营销，也能够帮助提高产品、服务、内容的用户体验，本文的分享将主要围绕如下三个方面：

1、 蚂蚁的业务场景

2、 蚂蚁智能推荐实践

3、 智能推荐解决方案

1、蚂蚁的业务场景

蚂蚁业务的进化
蚂蚁金服的业务进化主要经历了在线化、数据化和智能化三个阶段的发展和演进过程。

从2004年支付宝成立一直到2012年，这个阶段主要是工具的在线化。从最开始的担保交易到转帐、信用卡还款、水电煤缴费等功能，经过在线化的工具提高了效率，也沉淀了数据。这个阶段，支付宝的营销方式也比较粗犷，好比给全部人发一个相同的红包或者优惠券，所以当时的营销也主要围绕打造一个好的工具，快速配置一个营销活动、奖品，并确保在交易流程中的安全、稳定。

到了2013年，随着移动互联网浪潮、killer app 余额宝的诞生支付宝APP的日活从不到百万迅速增加到千万级别。此时若是再使用本来粗犷式的营销方式确定会出现问题，这个阶段数据显得愈来愈重要，营销开始升级为从用户信息数据、用户行为数据、业务数据挖掘出来的人群标签，实现分客群营销，从而提高营销效率。这个阶段BI给运营人员提供宏观的决策参考，但不一样运营人员对业务的理解、对数据敏感度的差别会致使营销效果不同。如今市面上大部分的精准营销产品对应这个阶段，一套有圈人能力的营销管理工具。

到2016年左右，随着人工智能团队的成立，蚂蚁金服逐渐开始以推荐引擎来帮助营销，系统层面更实时的感知用户行为，算法层面经过机器学习能力来自优化决策系统。这个阶段离线圈人只是决策的起点，推荐引擎会综合用户的历史偏好、实时营销反馈以及全站全部行为事件来调整模型，提供更为微观的决策能力。这个阶段对运营人员的要求也下降了，由于模型会不断迭代纠偏。

金融生活场景
目前，蚂蚁金服以及合做伙伴经过支付宝、财富、微贷、保险、网商银行等产品已经可以覆盖广大用户的大部分金融生活场景。

对于具体推荐的页面而言，好比支付成功页的推荐、广告位、会员惠支付以及红包等的背后都有蚂蚁金服智能推荐引擎在发挥做用。

在支付宝的财富、微贷、花呗以及保险的频道首页，经过智能推荐引擎实现的“千人千面”。还有商家生活号以及生活圈、小程序，也有推荐引擎发挥做用。

2、蚂蚁智能推荐实践

对于蚂蚁金服而言，在智能推荐方面存在着不少的挑战。下图中就列举出了智能推荐所须要面对的6大挑战。

1. 选择人群：如何基于数据和业务规则选择合适的准入人群？
2. 识别实时场景：如何识别出用户所处的实时场景，好比什么时间、在什么地点、作了什么事情？
3. 选择奖品、优惠券、服务：这是推荐的核心问题，如何选择合适内容推荐给用户？
4. 流量渠道和创意：流量有成本，如何合理利用流量渠道，用最好的创意打动用户？
5. 屡次推荐：推荐不是一次性过程，如何经过屡次推荐最终实现目标？
6. 平台和架构：工程架构是基础，什么样的架构能提高推荐模型迭代效率从而快速提高推荐效果？

人群选择
圈人通常经常使用的有三种：一是最多见的是技术数据挖掘的标签圈人；另外比较高级点的是 lookalike圈人，经过给定的种子人群特征，去全量人群中召回有类似特征的人群并作优选，从而扩散到一个更大的类似人群；还有很经常使用也很简单的是基于业务规则圈人。

实时场景事件
对于实时场景事件而言，早在2014年蚂蚁金服刚开始构建智能推荐体系的时候，运营同窗对智能营销的指望常常会用一个具象的case来描述：某用户购买了一张8点钟开始的电影票， 6点钟他到了电影院所在的商场，打开支付宝APP，会收到一个推荐，本商场xx饭店的打折券。在具体实现上，咱们经过用户实时事件来刻画场景，实现实时场景推荐，与此同时，实时事件也能够帮助在线训练模型，实现机器在线学习（online learning）。

偏好与发现
发现用户偏好是推荐的前提，除了数据收集和挖掘，模型选择也很重要，这里说一下蚂蚁内部经常使用的模型：

注意力模型：深度学习中的注意力机制从本质上讲和人类的选择性视觉注意力机制相似，核心目标也是从众多信息中选择出对当前任务目标更关键的信息，蚂蚁的业务场景丰富，致使数据比较多元，注意力模型能帮助当前推荐目标的达成；

Wide & deep模型：wide模型记忆（memorization）即从历史数据中发现item（推荐内容）或者特征之间的相关性，deep模型泛化（generalization）即相关性的传递，发如今历史数据中不多或者没有出现的新的特征组合，寻找用户的新偏好。

MAB算法：解决推荐的冷启动问题，尝试推荐新内容，而且经过用户的实时反馈来不断调整产品的曝光量，并优化整个模型。

智能创意
你们平时都会接触到各类各样不一样的广告，不一样的广告创意（文字、图片、视频）效果差异很大。这里其实有两个问题，一是AI能不能帮助咱们设计更好的创意，二是如何快速优选用户承认的创意。咱们内部有个叫毕加索的系统，来提高创意设计效率和效果。

咱们收集了大量的广告文案，运营同窗只须要简单填写需求信息，经过NLP技术会自动生成候选文案供使用者选择。除了完整的文案建议，还能结合用户标签，也提供个性化文案模板，推荐系统会根据被推荐的用户特征来填充标签值，实现个性化文案，例如车险到期是续签广告，“本田车主50元大礼”比“车主50元大礼”点击效果要好不少（这个case只是简单的规则标签填充，更多的案例是算法生成）。

另外，对AI系统来讲，候选创意的数量越多，算法的空间越大，快速生成更多的创意显得很是重要。原来一百张图片与文案的制做须要花费不少的时间和精力，而经过毕加索的图文合成能力，能很快生成大量创意，例若有10种底图和10种文案，能叉乘出100种创意。接下来就是创意优选，这100种创意都会得到必定的曝光，经过MAB算法能够并根据用户的实时反馈来调整每一个创意的曝光比例，某个创意的点击率高，曝光率也就会愈来愈高，从而提高总体的点击率。

强化学习

咱们发现，原来的营销推荐，都是短时间的、离散的，一年下来营销活动不少，也作活动数据的总结，总结会变成一些人脑海中的经验，但没有实时、持续的去优化咱们的用户营销方案。实际上营销就像打高尔夫球，很难一次进洞，不断调整咱们的营销策略，让每一杆挥得恰到好处，才能更快的接近球洞（目标）。另外一方面，用户对产品的使用是持续的，用户营销会有拉新、促活、留存的任务，咱们站在用户的使用角度去设计营销产品，把活动、奖品、服务都算做用户激励的手段，经过强化学习，把用户的每次行为都做为决策智能体（推荐引擎）的一次反馈，从而拿到总体最优的营销效果。

快速迭代工程架构
数据、特征、模型都很重要，但良好的工程架构是基础。尤为对算法来讲，模型的快速迭代很是关键，若是优化一个模型，须要几天才能发布，活动也许早就结束了。在蚂蚁金服内部有一套完善的工程架构来保证算法的快速迭代。和不少金融机构的业务相似，咱们的稳定性要求很是高，变动的发布每每须要通过一个比较严格的流程。可是模型迭代通常不会影响具体功能，仅影响效果，蚂蚁内部提供的微容器架构，让算法模型迭代在容器内发布便可，稳定快速。

模型的效果对比和验证很是重要，咱们内部有专门的A/B Test平台来支持实验，对比不一样模型的效果，从而优选模型。此外，蚂蚁金服的工程架构还可以保证特征的一致性，能保证离线训练和在线预估使用同一份特征和代码，从而保证模型的效果。

3、智能推荐解决方案

上面主要分享了在蚂蚁内部如何实现智能推荐的，接下来将和你们介绍蚂蚁金服基于自身经验并结合银行、证券等公司业务特色打造的解决方案，产品名称是蚂蚁金服智能推荐引擎 (Ant Recommendation Engine)，下文都简称ARE。

1. 灵活适配多业务场景
在下图中的业务模块中，银行、证券等金融机构的大部分业务和蚂蚁金服相似，可能包含了支付、转帐、存款、积分、借贷以及基金和理财等业务，咱们的ARE只须要经过接口和数据打通客户的业务，实现各类业务场景的智能推荐。

咱们须要三部分的数据打通：

一是用户经过上图中最上面一层的“渠道”，好比手机APP、银行柜台、PC客户端等会看到推荐内容（产品、服务、活动、奖品等），若是用户感兴趣就会产生点击行为、购买使用行为，而若是用户不感兴趣就可能直接离开，这些用户的行为数据会同步到推荐引擎数据中内心面；

二是用户的其余行为，好比交易、信用卡支付或进入了某个地理位置等，这些数据也会同步到数据中心中；

三是业务自身的信息，好比商品名称、基金产品收益率等须要导入到数据中心中。

系统通过提取和计算，从数据中心中得到实体类（item）特征和用户特征（user），再进行模型训练，得到最新的模型。

客户的业务系统能够调用ARE的接口来实现推荐。引擎内部会基于目标人群，召回合适的推荐内容后经过模型和规则来实现打分排序。此外ARE还提供了经常使用算法库、动态代码（根据推荐场景编写的代码，无需走系统发布流程）以及配置后台，能够灵活适配包括营销、产品在内的几乎全部业务场景。

2. 标准数据流程
ARE定义了标准的数据格式，系统打通时要确保用户行为事件的日志格式都是标准的。若是客户使用了蚂蚁的mPaas产品，一般状况下数据不须要作任何转化，就能符合ARE的标准。数据格式、特征工程、模型训练，整个数据处理流程是标准化的，对于大多数客户而言，能够大大减小算法和数据相关的开发工做量。

3. 策略和实验
针对银行等金融客户的特色，蚂蚁金服智能推荐引擎已经将LR、GBDT、MAB等经常使用的推荐模型集成到ARE内部，结合上面的标准数据处理流程，客户基本能够在没有算法工程师的状况下实现基础的智能推荐。此外，ARE也支持用户将训练好的模型（PMML文件）上传到系统中。考虑到推荐的效果与运营规则也密切相关，所以在蚂蚁智能推荐引擎中也集成了比较简单的规则引擎。同时，系统还提供了A/B Test等工具帮助用户选择更加适合本身的策略模型。

4. 实时事件中心
举个例子，A银行的某用户属于低净值用户，某一天这个用户忽然存了50万，理论上这时候系统要马上感知这个变化，本来推荐低门槛理财产品应该换成门槛高收益高的理财产品。使用好ARE实时事件中心能够很容易地感知用户变化，经过对于用户行为（日志或者行为数据）的标准化定义和实时收集，可以很快地刻画出用户行为的空间，进而实现相关特征的提取和模型训练，基于这样的能力就能够实现更加实时的场景化推荐。

5. ARE的工程优点
ARE的架构是基于蚂蚁金服内部所使用的推荐引擎，通过业务的多年考验，系统架构已经很是成熟和稳定。ARE可以支持弹性伸缩和水平扩展，具备较高的性能，秒级响应请求，实时数据更新分钟级影响推荐结果。最后，由于在架构方案中，智能推荐引擎基于的是蚂蚁金融云，所以监控体系、运维体系以及预警体系都很成熟，运维部署很是方便。

点击阅读更多，查看更多详情