当你和天猫精灵对话时，它在想什么？阿里智能对话技术深度解读

术语对齐

TaskBot引擎： 核心处理对象是“技能”，咱们把技能定义成结构化(query+content)、垂直场景化的任务，好比实时场景查询、工具类、控制类等
QABot引擎：

包括KG-QA引擎、QAPair引擎、DeepQA引擎。KG-QA主要是百科和围绕全网知识图谱的精准问答；QAPair引擎以问答对生产消费为主；DeepQA引擎基于url索引、分类聚类、焦点词、摘要的多级系统

ChatBot引擎：

包括基于检索和生成的闲聊引擎

内容体系

网页搜索与智能对话是信息服务的不一样承载方式，在数据、算法、架构上一脉相承。也正所以积累，谷歌等搜索引擎公司能够快速推出其AI平台&产品，以信息服务为基础To B/C。

• 行业技能库

第一阶段：团队用了半年的时间将大搜索100+的垂直行业进行结构化升级，涉及行业大到大娱乐、大出行、新闻资讯，中到汽车、体育、旅游，小到股票、翻译、古诗词等等

第二阶段：进一步进行技能的结构化升级，精细的Query结构化、多轮对话建设，并输出到天猫精灵音箱

• 全网知识图谱

阿里惟一全网知识图谱，以知识卡片、实体推荐、精准问答等产品输出；

• 问答库

社区问答库：基于UGC问答社区的问答库，1B doc的量级；

UPGC生产：神马"骑士团"创建的校园生产体系，骑士团是该项目的code name，充分利用校园对存量知识进行整理、加工、审核，提高问答的生产效率和质量；目前参与学生人数万级别；

高质量库：社区问答库覆盖高但质量良莠不齐，社会化生产质量高但数量相对较少，经过机器对社区问答库的清洗和对社会化生产库的扩展，最终沉淀成高质量库；

蛋清库：蛋清是产品策略。用户与bot对话时最但愿获得直接的答案即"蛋黄"，可是有时候机器能get(或部分get)到用户的问题可是没法给与完美的答案，这个时候给用户"蛋清"也是一种优雅的手段表示我理解你；目前已完成初版蛋清上线，主要覆盖“描述/方式”问题类型；

• 核心库

为了净化互联网环境、提高内容质量，咱们以运营+挖掘的方式运转了一套核心库的流程；
技能库+知识库+问答库+闲聊库，构成了信息服务场景下智能对话的基础设施，举几个例子说明下不一样库对不一样query（询问）的知足，小马同窗正在看一场NBA比赛，他说：

"如今火箭领先多少分了？" -> 技能库
"篮球是谁发明的？" -> 知识库
"哈登能进名人堂吗?" -> 问答库
"我们聊聊NBA吧?" -> 闲聊库

通用信息服务始终在追求问答的覆盖和质量，这也是业界的难点，包括半结构化/非结构化数据的处理、内容生产模式、内容敏感问题、用户知足等等；神马搜索在一年的探索中积累出的多级QA系统、MOPU(Machine/OGC/PGC/UGC)多元化生产、流程化规模化可持续的生产体系走在了业界的前沿；在最近一次天猫精灵理想query集合评测上，触发率达到73%，准确率达到了91%；这个数据是什么概念，能够参考业界表明性产品的指标：

根据Stone Temple最近的调查，谷歌虚拟助理能够回答68％的用户问题，其中90.6％的答案是正确的，而微软Cortana可以回答的用户问题比例为56.5％，准确率为81.9％；而苹果Siri回答的用户问题比例为21.7%，准确率为62.2％，亚马逊Alexa回答的用户问题比例为20.7％，准确率为87％

架构体系

上图为架构体系总体大图。"引擎"负责数据的构建和计算的承载，"平台"负责以引擎为核心构建的闭环解决方案(生产、多租户消费、运营、需求管理等)。系统的落地，得以于搜索多年的积累沉淀。该系统彻底与搜索业务解耦，承载了天猫精灵等业务方的流量(以及双十一晚会直播问答)。下面会分别介绍神降临平台、TaskBot引擎、QABot引擎。

神降临平台

神降临平台是TaskBot引擎的平台化延展，解决技能生产、消费、运营等问题。对于外部开发者它是BotFramework；对于外部调用者它是神马整个智能对话的出入口；对于内部RD它是生产和运营平台。目前该平台主要服务集团内部业务。神降临由技能开放平台、技能生产平台、统计分析平台、运营管理平台组成。

• 技能开放平台

开放有两个层面：内容开放+能力开放。对应的技能开放平台也承担两个角色：

1.能力开放(BotFramework)：对标类api.ai的技能构建平台，外部开发者构建本身的技能；
2.内容消费(OpenAPI)：经过建立应用、选择技能/问答，直接经过API进行智能对话；

目前咱们还没有对外主推BotFramework：虽然开放平台产品众多，但目前的模式很难知足开发者需求，一个技能从产品规划到生产可用须要大量和较长链路的工做，不是提交点语料配置点上下文和输出就能够搞定的(简单控制类勉强能够)。在咱们技能一期专项完成的20+技能下大约有300+种不一样意图，创建了语料收集、标注、审核、建模、测试的完善流程。因此咱们的精力主要放在打磨真正可用的内置技能，产生实际的价值。

• 技能生产平台

技能生产平台用于生产内置技能。它与技能开放平台的角色一致最终都是将物料投递给TaskBot引擎，但用户是内部RD，涵盖了从产品PRD到技能上线的全链路流程，涉及在线编写结构化PRD、需求管理、语料管理、实体管理、技能构建、技能训练、技能验证、技能发布。

为了技能的普适性，每一个技能咱们都以技能组的方式支持多场景：标准无屏、手机屏、大屏，标准无屏针对天猫精灵音箱相似场景，手机针对神马的我的助理场景，他们在多轮需求、结构化展示、排序策略上都不尽相同；另外内置技能的物料除了实体、语料、剧本以外，支持投递c++动态库以支持不一样的排序策略、NLG策略等。

经过该平台将技能建设在线化、PD/RD/QA/运营分工明确pipeline生产。

• 统计分析平台

多维度的打点统计、报表、指标分析。涉及问题包括生产消费效率(经过统计引导内容生产的方向领域)、内容控制反馈、总体和独立技能的准召。

• 运营管理平台

运营管理平台分两块：内容运营、应用运营。

1. 内容运营：关键域和模块的实时干预；
2. 应用运营：应用/技能等增删改查以及训练；

注1：中间橙色为TaskBot引擎，下文展开介绍
注2：大图中TaskBot引擎、QABot引擎、ChatBot引擎为逻辑架构；物理架构上QABot和ChatBot级联到TaskBot中，有多个模块进行多路召回和pk断定

TaskBot引擎

TaskBot引擎是技能构建和消费的内核。它涉及离线计算、内容管理、调度、在线服务。

• 离线计算

将外部平台的物料一一构建成对应的内部数据；包括实体词典、分类模型、意图识别&抽槽插件/pattern/模型、NLG策略和模板、DM剧本插件、US排序插件、webHook逻辑插件等等。

• 内容管理

按应用/技能分版本的管理上述数据。内容管理要作到无状态，可快速移植、回滚、分发。

• 调度

分为数据调度、环境管理、服务管理。数据调度负责离线到在线的数据分发，一套SDS引擎包含多个Role，每一个Role都会加载对应的数据；环境管理负责迭代、验证、预发、生产环境的自动化管理；服务管理负责运维方面工做包括分行分列(按照应用流量分行，按照技能消耗分列)，扩缩容上下线等；

• 在线引擎

：SDS引擎，见下图

SDS引擎是任务式对话的核心。它接受用户的query，以DM为控制中枢、以NLU为理解中枢、经过US作召回和rank、以NLG包装后输出。目前资讯播报、时区、限行、历史上的今天、单位换算、油价、日历、nba、lbs等技能天猫精灵上线技能触发率97-98%，准确率95%+；

• DM(Dialog Manager)

：即对话管理，是对话系统的关键部分，负责维护对话上下文，管理对话流程，保持对话过程的流畅。用户的输入经过NLU处理后产生意图、槽位等信息，DM根据这些数据以及当前对话的上下文作出对应的决策和行为，包括调用NLG模块生成天然语言、经过外部服务接口获取对话过程当中所须要的额外信息。DM以任务树的方式管理对话，树的每一个节点都是一个Agent(询问、执行、回应)；考虑到对话系统的通用性和可扩展性，咱们在对话管理模块的设计上，将对话引擎部分和领域相关部分作了明确的隔离，包括可重用的对话Agent组件、可编辑的对话控制选项、通用的外部调用机制等，可方便地自定义不一样功能的Agent，实现不一样的对话场景。

对话引擎在流程控制上有两个重要的组成部分：

• 对话执行栈

： 经过栈的形式维护Agent的执行状态，根据上下文对对话流程进行控制。对话栈将Agent放入栈中，由栈顶的Agent执行并选择出合适的子Agent继续入栈执行。对话栈存储对话的上下文信息，对应着一个具体的对话场景。对话栈顶的Agent可形象的理解为对话焦点，对话栈结合Agent关系树和话题议程表可实现对话焦点的跟踪和管理，可灵活的保持、切换、回溯对话主题。

• 话题议程表：

负责维护和管理对话过程的参数信息，用于收集系统指望获得的用户输入。议程分为多个层次，每一个级别对应于对话框堆栈中的一个Agent，所以对于不一样的运行栈信息，议程表表明了在这个对话场景下所指望的输入。当用户保持或转移话题时，能找到相应的指望参数并更新。
DM的执行单元是"剧本"，用户在开放平台或生产平台经过拖拽方式构建的剧本树最终会被构建成c++的so被加载执行。目前经过DM与NLU的结合已在多个技能上完成了省略替换、指代消解、话题转移、错误处理等多轮对话。
NLU：NLU有两种不一样的设计理念：

• 围绕BotFramework的NLU

：将用户query结构化为Domain/Intent/Slot后返回给开发者(带上置信度)，有些BotFramework产品须要用户本身判断是否接受这个结果，在技能较多的状况下会更麻烦，由于这种设计下核心帮助用户解决的是语义理解的问题

• 围绕对话产品的NLU：

结合NLU的分类和召回的结果作多维NBest策略，这在信息服务场景尤其重要，好比用户说了个李白，它多是诗人李白、多是撒贝宁的妻子李白、也多是李荣浩的《李白》，这里有不一样的处理方式，好比借助大搜索用户点击、借助用户的历史行为、甚至能够DM上直接反问哪一个李白
上述2天然涵盖1，神马的NLU是2的模式。今年NLU系统经历了两次大的升级，一次是整个SDS的NBest升级，一次是子NLU化，子NLU可让不一样的Domain根据自身特别内部个性化定制意图识别和抽槽策略、并提高RD并行度。
NLG/US/Skill-Gateway 再也不展开。

QABot引擎

业界对问答有不一样的划分维度，按照内容维度可划分为结构化数据问答、非结构化数据问答、以及基于问答对的问答。而从技术角度看，业界通常分为基于检索式的问答系统和基于生成式的问答系统。前者是将信息检索系统构建于大规模对话数据集之上，经过创建有效的问句匹配和问答相关度量化模型实现对用户问题的合理回复；后者则试图经过构建端到端(End-to-End)的深度学习模型，从海量对话数据中自动学习query和response之间的语义关联，从而达到对于任何用户问题都可以自动生成回复的目的。

咱们当前主要专一于基于海量数据的检索式QA系统，而在系统层面划分为：KG-QA、Baike-QA、DeepQA、PairQA，它们都是对既有知识的搬运整理，可是在数据来源/要求、加工方式、匹配方式、覆盖场景又不尽相同。笔者认为世界的理想终局是结构化的(知识库)，可是这个永远没法真正实现，好比信息的持续产生和更新以及天然语义处理的难度，因此须要两个方向同时并行前进。

KG-QA和Baike-QA准确高可是覆盖有限，基于非结构化的Deep-QA覆盖高可是污染大，Pair-QA的社会化生产大幅提高生产力可是须要好的场景和问题，诸多的挑战决定了问答的难度和壁垒。

这里主要介绍PairQA和DeepQA系统以下图所示：

问题理解 问题理解是问答系统理解用户意图的关键一环，特别是DeepQA。这里咱们复用了大搜索基础NLP的能力(语义扩展，权重分析，实体识别，改写纠错等)；问题分类结合机器学习分类算法和人工的方式，来实现提问的分类，好比：无心义、闲聊、人物、组织、时间等；焦点词识别，主要完成信息需求的精准定位，指问句的主要背景或者对象、有关主题的内容，可以体现对话题的描述性做用，好比实体、属性、动做、实例等。

• 信息检索

信息检索负责从全局语料中检索相关/候选信息，传递给最终的答案生成模块。信息语料的不一样，以及业务场景的不一样，检索的方法也有多种形式，目前咱们主要使用的是基于倒排的文本检索和基于向量的语义检索。前者是传统的全文搜索引擎采用的方式，优势是实现简单、准确率高，但对建库语料依赖大，后者则是语义搜索引擎一种较好的实现方式，优势是泛化能力强，但有必定误触发率。两套索引机制各有优缺点，结合不一样的语料和业务场景，使用不一样索引机制，同时也会相互结合使用，发挥各自的优点。

• 答案生成

基于检索端的候选答案，须要经过进一步的精排、答案抽取、置信度计算，最终获得准确、简洁的答案。PairQA，更多的是经过CNN、DSSM、GBDT等机器学习模型和方法作严格的排序 + 置信度计算；DeepQA，面向的是非结构化的文档/社区语料，则须要作更深层次的处理，包括结合Bi-LSTM RNN模型的简洁摘要抽取、同义问题答案间交叉验证、答案相关性验证等。

• 语料建设

语料库的建设是QABot的基础，不论是面向特定领域的问答（好比：母婴、三国、街舞），仍是面向开放域的问答（好比闲聊），都离不开高质量语料的支持。针对天猫精灵场景，咱们实现了一整套面向口语化问答的数据挖掘和运营生产流程，包含开放问题挖掘、场景问题挖掘、社会化答案生产、高质量答案自动抽取。

• 图谱引擎

知识图谱是神马搜索的核心基础设施，借助搜索大数据和天然语言处理、深度学习技术打造，也是历史最悠久的数据产品，在搜索知识化、智能化发展历程中发挥了关键做用。基于知识图谱和天然语言理解，咱们构建了知识卡片、实体推荐、精准问答三个主要产品。在智能对话业务，针对音箱的场景，还重点建设了菜谱、古诗词、三国、世界之最等特点技能，输出到天猫精灵。而在生产侧，一方面持续引入知识抽取、知识推理的前沿新技术，另外一方面也创建了图谱的社会化生产模式，来持续建设和补充专业领域的知识，使知识图谱更好地为业务赋能。

总结

去年一年，智能对话团队初步完成了从搜索到智能对话的技术升级，在实战中沉淀出AI+信息服务的架构、算法、运营、内容体系。感恩时代，AI对话的路很长，咱们一块儿努力。

原文连接