阿里推荐与搜索引擎 - AI·OS综述

AI·OS（Online Serving），大数据深度学习在线服务体系，由咱们工程、算法、效率的同事们砥砺十年而成，支撑起海内外阿里电商所有的搜索和推荐业务，时刻置身大数据主战场，引导成交占据集团大盘主体；此外，做为中台技术中坚，AI·OS已经是包括电商、阿里云、优酷、菜鸟、盒马、钉钉等等在内全集团的基础设施；更为重要的是，AI·OS体系的云产品矩阵服务于全球开发者，今年预期在数千万级的营收规模。

AI·OS聚焦于深度学习的在线服务，其组件Jarvis甚至已经运行于手机上，但从功能角度来看，在体系中处于关键地位的有5个服务组件：TPP推荐业务平台、RTP深度学习预测引擎、HA3搜索召回引擎、DII推荐召回引擎、iGraph图查询引擎。AI·OS上的主要的算法场景，好比手淘的搜索、猜你喜欢、AIO以及海神等，都以图化（算子流程图定制）的模式对组件快速组合与部署并承担实验流量，让在线服务不拖模型训练的后腿随训随上，这是咱们对迭代效率的最高水平的新演绎。

AI·OS这些关键服务组件可以幻化奇光异彩的算法场景和技术产品，绝非机械组合可成。引擎图化的基础，尤为是对组件快速组合与部署并接流的能力，得益于咱们对大数据在线服务的通用抽象（要求具有秒级数据更新的最终一致性），它就是Suez在线服务框架。Suez框架统一了3个维度的工做：1. 索引存储（全文检索、图检索、深度学习模型），2. 索引管理（全量、增量以及实时更新），3. 服务管理（最终一致性、切流降级扩缩容等）。每个服务组件好比iGraph，孤立的作好这几个维度至少要3年时间，哪怕是共享大部分代码，而作好它们只是一个在线服务的基本前提，毕竟咱们都知道频繁的业务迭代必定是发生在图的计算层面。近日回顾，将iGraph迁移到Suez框架上，出于对使命的认同团队精锐尽出不计投入，使得AI·OS能够合围而成。

AI·OS体系里Hippo承担着集群物理资源的调度任务，这里是中台容器和隔离技术与搜索工程交汇之地，更是模型训练PAI-TF与实时计算Blink经过AOP成为体系友员的桥头堡。今天推荐与搜索的训练任务都运行在Hippo混部资源池上，算法鼎盛时期我见证过最大2千台、七天均值1300台百核机器满负荷运转，这些资源是免费得到的，而这些做业创造的价值大到没法估量。

AI·OS自身也是预测与优化算法的用武之地，其中AIOps更是集大成者，在metrics服务KMon解决了秒级实时可靠性以后，在TPP成功推升ajdk的负载极限以后，在广大无状态服务组件弹性扩缩成功以后，AIOps终于能够再迈进一步推进Hippo池内大部分引擎服务组件执行弹性策略，双11当日力争摸高50%的负载峰值。弹性扩缩据咱们所知在大数据在线服务领域是开拓性的工做。

AI·OS得以自成体系完成算法迭代闭环，离不开嵌于手淘皇冠上的搜荐服务端和客户端两颗明珠，这里是算法工程产品融合亦是相关各方博弈的主场，高效的产品迭代和完善的实验机制配合支持体系不断实现众望所归的开疆辟土。近年来端上智能的探索逐步明晰，助力拍立淘突破数千万UV，技术上反哺手淘也给AI·OS体系带来新的发展空间。

AI·OS深刻骨髓的产品化理念支撑咱们自居中台技术中坚，TPP、TisPlus以及OpenSearch这些精准定位的推荐与搜索中台产品成就众多事业部的大数据场景和基础检索服务。国际化大潮中，AI·OS体系化部署无需定制开发，技术中台优点独显。索引更新链路的设计欠缺形成负面影响，鞭策咱们的同时侧面也佐证AI·OS的基础地位。

云上拓展不只是机遇更是AI·OS产品化的使命和终极归宿，一批早期的引擎开发者富有远见志同道合异曲同工敢于开拓，现在OpenSearch和ES（基于AI·OS体系的基础设施）已经全球部署成长为两款千万级的搜索产品，而名为AIRec的智能推荐产品即将问世，明年咱们的公有云大数据产品矩阵有望营收有新突破。

总结一下，AI·OS体系的基石是Hippo它为体系划定了资源的刚性边界，资源为在线服务发展所必须，凡支持混部在资源角度能造成共赢的即为体系友员（好比PAI-TF），目前咱们也在不断拓展Hippo边界即将与Yarn合体甚至合池；往上的Suez是体系里大数据在线服务的基础框架，支持Suez即为体系成员，除运维成本大幅下降外还很天然的参与AIOps弹性扩缩进一步提高系统效率；进而再具有图化能力即成为深度学习在线服务体系的核心成员，能够在业务场景里任意驰骋，将来咱们寄望于全图化引擎与离线高效对接大幅提高算法迭代效率。从Hippo到Suez（iGraph）再到图化引擎（RTP、HA三、DII），再延伸到手淘搜荐服务端与客户端，乃至其上的AIOps和几大技术产品TPP、TisPlus、OpenSearch，其核心线索是优化算法迭代效率，这乃是AI·OS体系的精髓所在。**从今天AI·OS达到的境界而言，我在所知范围内尚未见到同行到达过。

AI·OS与算法

直白的讲，面对大数据业务挑战， AI·OS至多能起到30%的做用，随后是算法解决30+%，其他的靠产品和机缘，只不过AI·OS的30%是个前提条件，这容易被忽视，在早期淘宝搜索，不久前的手淘推荐在上演。很难想象有另外的技术领域会像这两个领域同样乐于相互成就，对彼此同事的职级、规模和疆域的成长感觉到的只有羡慕。咱们须要永远铭记，AI·OS发展的核心线索是优化算法迭代效率。

AI·OS与Blink

Blink孵化自早期的AI·OS体内，今天已蓬勃发展为通用实时计算引擎，不过两者间关系永远的凝结于实时二字之上：AI·OS体系的引擎服务都要求具有秒级数据更新的最终一致性，而Blink在AI·OS的场景以外再难寻觅真正的技术挑战。这就很容易解释为何Blink团队珍视AOP，而AI·OS狂热的推进Blink上混部，甚至落地Hippo与Yarn合体合池。AI·OS与Blink的互补特性，仅次于AI·OS与算法。

AI·OS与PAI

稍早时PAI但愿独立发挥做用却总不能得门而入，缘由是忽视了AI·OS体系尤为是Hippo的混部资源池的刚性诉求，尽管你们都认同PAI在Blink和AI·OS之间有很大的发挥空间。所幸三方的开放心胸最终达成分工默契，放弃本身的资源池后，PAI-TF成功地撑起了搜索和推荐算法所有的模型训练任务，并且也支持了AI·OS的图化执行引擎。展望将来PAI-TF能够在AI·OS发展的核心线索上发挥更大做用。

对比Blink和PAI，梳理一下AI·OS的发展脉络，不难发现规律：AI·OS首先服务于集团头部客户发展基础体系，而后具有产品化能力服务于集团内中长尾，最后再完善产品化成为云上服务。Blink诞生于AI·OS优化实时计算效率服务好了头部客户，而后发展SQL走产品化的路服务好中长尾集团内得以统一，如今也在云上大力发展。而PAI以前只能服务集团内中长尾，反观几家头部客户均有本身的训练平台，这绝非任性，主因是当时PAI并不足以支撑头部客户迭代需求。而今天PAI-TF作出改变兼容AI·OS体系，格局会本质改观，完全落地的PAI将会同时具有头部和中长尾的服务能力，集团内统一深度学习的训练平台将会水到渠成。

AI·OS与图计算

图计算在计算引擎学界引领热潮，在离线场景（包含迭代计算）有丰富的论做，向在线服务领域拓展寻求更快速的验证在所必然，但在互联网大数据技术业界鲜有堪称经典的对标实现，是由于业界技术能力不够吗？学界热潮容易理解，图论本是经典倾倒无数英雄，而业界缺少对标更刺激学界投入。只不过业界见到的多数大数据业务场景完整抽象后并不是经典的图计算问题，好比AI·OS对此的抽象是算子流程图快速定制，这至多算是一个泛化的图计算模型。不过在AI·OS体系之上的局部，经典的图计算技术的确大有空间，iGraph乃至整个体系准备好随时被颠覆，不过颠覆以前，须要摸透具有秒级数据更新的最终一致性的在线服务的特色，从Hippo到Suez的能力要素都要逐步具有。是融入体系在iGraph或Suez上快速落地，仍是像PAI同样兼容于体系，仍是独立于AI·OS体系以外从头开始，选择决定成败。OLAP与图计算类似，走向在线也将面临相似的选择。对于这类具有面向最终一致性的在线服务，独立于AI·OS建设，还意味着要开辟独立资源池，于是也更加须要提供足够独特的价值，这方面我尚未看的很清楚。最后一个和AI·OS关系密切的技术方向是OLTP，因之在数据更新的一致性上要求更高，AI·OS不会妄自涉足。

须要指出的是，集团内外流行的Graph Embedding从在线服务角度来看，和图计算无关，这个技术叫向量召回，是图像检索的泛化应用，该技术集团内实现以达摩院机器智能实验室最为突出（拍立淘核心技术之一），这部分已经是AI·OS体系能力的一部分。

本文做者：拉尔夫沈

阅读原文

本文为云栖社区原创内容，未经容许不得转载。