基于KG的智能QA方案

基于知识图谱的相关应用大体能够分为搜索、问答、决策、推荐等几种常见的类别，对于知识图谱的理解，能够参考以前的文章《三个角度理解知识图谱》，本文主要就年初规划的xx智能问答建设方案，介绍一下基于知识图谱的智能问答，主要分为以下几个方面：

一、人机对话体系结构

二、问答产品知识结构

三、典型的智能问答产品

四、智能问答的关键技术

五、基于知识图谱的智能问答

 

一、人机对话体系结构

对于一个基于人机对话的问答系统，主要包括唤醒、识别、理解、反馈四个过程，其中语音唤醒、语音识别、天然语言生成以及语音合成是为用户的语音体验服务的，而问答的核心部分是对问题进行理解，并给出相应的答案，主要涉及到语言理解、语义搜索、知识图谱、情感分析、对话管理以及深度问答等。对于不一样的问答系统能够对该体系中的相关部分进行增删和修改，或当作一个由简单到完善的发展过程。好比，对于xx问答系统，在初期阶段，可能作不到语音问答的形式，那么，重点就应该落在理解这个部分，以实现初步的文本识别、文本理解和文本回答。

 

二、问答产品知识结构

问答类产品的主要目标是输入问题，得到答案。从问题的类型上能够分为事实类/非事实类，不一样类型的处理方式以及技术难度都存在必定差别。在问答形式上能够分为单轮问答、多轮以及聊天式的情感互动，其中单轮问答相对简单，多轮问答以及情感互动还处于较为初级的发展阶段。对于问答系统的实现方式也有多种，对技术需求也不尽相同，要根据具体的需求具体规划。

三、典型的智能问答产品

• 苹果 Siri

Siri 做为 iPhone 4S 推出时的一个亮点特征，定位是语音我的助理。在推出之时，引发了极大的轰动。虽然这么多年 Siri 的技术也不断提高，但他更大的价值是做为聊天机器人之门开启的开门砖，教育了用户和市场。回到刚刚的分类，Siri 实际上是一个面向特定任务的对话系统。对接了不少本地服务如通信录、音乐播放等以及 Web 服务如订餐、订票和导航等功能服务。针对这些服务意图，他经过实体驱动的天然语言理解（Natural LanguageUnderstanding, NLU）来识别问句中涉及到的对象和相关服务，从而实现特定任务下的多轮功能交互。对于解决不了的问题，即服务意图范畴外的需求，则直接调用搜索引擎返回相关答案来返回。随后，Siri 的核心人员 Dag Kittlaus 和 Adam Cheyer 于 2016 年推出了 Viv。Viv 被认为是 Siri 的升级版，虽然其在多服务组合，服务编排等方面作了很多亮点工做，但背后的基本原理和定位和 Siri 无差别。

• 微软小冰和小娜

微软针对娱乐化和工具化这两个大相径庭的定位，分别推出了小冰和小娜（Cortana）。小娜，做为嵌入在 Windows 或 Windows Mobile 等微软操做系统内核的语音我的助理，承载着相似 Siri 或 Viv 的角色，它的目的是提高用户的工做效率，听说 Cortana 有 1.5 亿多用户，这也使得微软吸引到 Bengio 这样的大师做为顾问加入。另外一方面，小冰是微软中国团队推出的娱乐聊天机器人。她的人设是一位 16 岁的少女。小冰是一个基于搜索的回复检索系统。经过各类基于深度学习的语义匹配算法，从海量的问答对语料中返回最佳的回复（Message response 而非 Answer）。小冰也会不按期推出新的技能供你们使用，这些技能每每包含了微软团队在图像理解、语音和天然语言理解方面的各类小应用尝试。更值得一提的是：微软针对日本、北美和欧洲等市场陆续推出了具备不一样人设的少女如 Rinna、Tay和 Zo，她们每每能够方便的经过微信、微博或 Twitter 等平台进行交流。

• IBM Watson 系统

Watson 系统是典型的问答系统，其由 IBM 研究院在 2011 年推出，参加美国知识竞赛Jeopardy!（危险边缘）并挑落人类冠军而名声大躁。相比 AlphaGo 或早年 IBM 研制的打败卡斯帕罗夫的国际象棋人工智能程序深蓝，Watson 具备更清晰的商业路径。IBM 斥巨资成立医疗事业部，并与 MD Anderson 等知名医疗机构合做推出面对特定病种（尤为是癌症）的辅助诊断 AI 医生。与此同时，Ross Intelligence 依托 Watson 认知计算平台推出了法律咨询系统。回到技术层面，Watson 所用到的知识库是一个广义的知识库，不只包含各类结构化知识、也包含各类文本语料和语言学知识。整个流程称为 Deep QA，包含问题分解、假设生成、基于证据的融合排序等关键步骤。这里的 Deep QA 并不是指经过深度学习（Deep Learning）技术来提供问答。事实上，Watson 诞生于深度学习大热以前，这里的Deep 是指经过深度解析（Deep Parsing）来实现对问句的真正理解。

• Facebook Messenger

Facebook Messenger 是一个庞大的 Bot 平台，有很是活跃的开发者群体，平台包含上万种 Bots。针对 Messenger，第一，它在 2014 年收购了 wit.ai。Wit.ai 相似于谷歌所收购的 api.ai，包含大量的行业相关或场景相关的对话。基于以上高质量海量的对话数据，Facebook 基于深度学习技术推出了一个用于天然语言处理的框架叫 DeepText，用于天然语言表示学习和各类分类等任务。有名的 Fast Text 也包含在内。Facebook 更是基于Deep Text 推出了 CLUE，进一步提升了其易用性。经过以上的数据和技术积累，Facebook就可快速构建一个端到端的 Chatbot 或者问答系统。此外，还有一点须要强调的是，咱们能够发现 Facebook Bot 的不少应用场景涉及到购物、递送礼物、预定参观和安排旅程等非实时任务，即相对比较复杂，但不要求立刻获得反馈。传统的作法是，经过指派一名客服来对接，提供进一步的服务。对于这些非实时任务，Facebook 结合机器返回的自动化推荐结果和人工的进一步编辑和审核来保证用户体验的同时也下降了纯人工对接存在效率低、工做量大等弊端。而这也是近期你们很推崇的人机融合，即赋予人工智能新的内涵：ArtificialIntelligence+Human Intelligence（人类智能）=Augmented Intelligence（加强智能）。

• 亚马逊Alexa

Alexa 做为亚马逊 Echo 智能音箱背后的 Bot 框架，经过 Skill Set 的形式不断扩展其功能，其内核是亚马逊在 2016 年末发布的 Lex，并对接专一图像识别的 Rekognition 和基于机器学习特别是深度学习技术的快速 TTS（文本到语音转换）。细心的观众会发现 Echo 音箱并无提供任何屏幕，仅经过语音进行交互，依托 Amazon 的内容资源和电商购物优点提供各类智能交互。这种以语音为主的交互方式在家庭、车载等领域获得普遍关注和应用，由此也提出了 Voice UI 的概念。除了语义理解，这里须要强调的是：对于 Echo 音箱的交互，是采用远场（一般 3-5 米）沟通的。对于远场语音交互，目前远比近场通信的难度大，涉及到声源定位、噪声（如回声、背景噪声、各类声波反射折射产生的混响）消除、人声分离、声音加强甚至是声纹识别等各类技术挑战。目前通用的作法是采用麦克风阵列+波束成形等方案，不过有很大的提高空间。不过智能音箱是否能在中国成为一个爆款，这个仍是一个未知数，固然这里涉及到更多使用习惯、价格、内容质量等不少非技术因素的考量，在此就不作具体展开。

• Google Assistant

从 Google Now 到 Google Assistant，谷歌一直没有中止过在语音我的助理方面的尝试。Allo是基于 Google Assistant 的新一代人工智能类微信 IM 应用。Allo 具备几个亮点：首先，其具有必定的自我学习能力。这里包括两方面的学习，一方面是学习用户的习惯，包括说话风格和交互模式。值得一提的是，Allo 的开发者也参与了 Gmail Smart Reply功能的开发，帮用户草拟回复的邮件。具体来讲，根据邮件接收的对象、主题和关联的场景等，根据用户口吻来尽可能完成要回复内容。另外一方面也包括用户偏好的学习，这一点在推荐系统中是很是重要的，属于用户画像的学习。Allo 学习用户画像的低维稠密向量化表示（User Embedding）。将 User Embedding 加入 Chatbot 的回复生成解码模型中，将有助于回复的相对一致性和个性化。

• 百度度秘

度秘（英文名：Duer）是百度出品的对话式人工智能秘书，2015年9月在百度世界大会中推出。它是基于DuerOS对话式人工智能系统，经过语音识别、天然语言处理和机器学习，用户可使用语音、文字或图片，以一对一的形式与度秘进行沟通。目前DuerOS已经具有10大类目100多项能力，能够为不一样行业的合做伙伴赋能，普遍支持手机、电视、音箱、汽车、机器人等多种硬件设备，实现语音控制、平常聊天、直接提供多种O2O服务等的智能化转变，被国内外同行称为“具备划时代意义的对话式人工智能操做系统”。依托于百度强大的搜索及智能交互技术，度秘能够在对话中清晰的理解用户的多种需求，进而在普遍索引真实世界的服务和信息的基础上，为用户提供各类优质服务。

• 搜狗汪仔

搜狗汪仔机器人是搜狗公司打造的问答机器人，搜狗汪仔能听、会说、会看、会思考，表明了人工智能领域的前沿技术。搜狗汪仔背后依靠的是基于人工智能技术的搜狗立知问答系统。立知问答系统是搜狗搜索研发的面向将来的搜索技术，在理解用户的问题或信息需求后，利用海量网络信息及大规模知识库，直接给出答案，方便快捷，适用于多种交互方式。其背后蕴含语义分析、问题理解、信息抽取、知识图谱、信息检索、深度学习等众多技术。

• 阿里小蜜

阿里小蜜是一个无线端多领域私人助理，依托于客户真实的需求，经过智能+人工的方式提供客户极致的购物体验服务，提高客户留存并创造价值。在跨终端、多场景领域支持多轮交互、多模式交互(文本、语音和图像)和问题推荐预测、支持多模型识别客户意图，基于客户需求的垂直领域(服务、导购、助手等)均经过智能+人工的方式提供客户极致的客户体验。

• 科大讯飞灵犀

灵犀是中国移动和科大讯飞联合推出的智能语音助手，更是国内首款支持粤语的语音助手。灵犀既能语音打电话、发短信、查天气、搜航班，还能查话费、查流量、买彩票、订彩铃，还能够陪你语音闲聊讲笑话。

• 其它

其它还包括叮咚智能音箱、小i机器人、海知智能的机器人等。这里的智能问答助手主要都是经过机器人、虚拟语音助手、音箱等形态来承接，而且具备多模态识别以及服务推荐、引导、聊天等功能，比通常的文本问答都更智能、更方便。

四、智能问答的关键技术

• 智能问答系统的能力需求

根据AI应用能力框架，对于智能问答系统的能力需求，能够分为基础能力、业务积累以及智能技术三部分。其中基础能力主要是解决智能问答中的比较基础的、通用的、基础的能力如敏感词过滤、多种问法识别等；业务积累主要是指针对具体的问答领域，在业务上所需积累的经验，好比大体能够把问题分红几类，每种类型有哪些，通常采起什么样的回答方式等；智能技术主要是面对更高级的应用的技术，如怎样实现多轮对话、识别多种模态、动态载入等。

• 智能问答系统的技术范围

目前国际上的智能问答技术主要采用检索技术、知识网络、深度学习这三大技术，固然，对于以上三种技术最后都须要应用在天然语言处理领域才能最终实现所需的功能。

 

• 不一样类别的问答系统

问答系统可分为面向任务、面向知识和面向聊天三类，从关键技术上分，还能够把其分红基于搜索技术的问答系统、基于协同的问答系统、基于知识库的问答系统。

面向任务的问答系统是一种闭域应用，一般使用基于规则的或基于模板的方法，并采用对话状态跟踪技术。在帮助服务中所使用的槽位填充方法，就是一种基于模板的方法。

面向知识的问答系统可用于闭域和开放域，一般使用以数据为驱动的信息检索模型。该类方法基于从问答知识库中查找与提问问题最匹配的知识。一份最新的研究工做尝试使用基于神经网络的方法实现问题间的匹配。最经常使用的一种方法是基于知识图谱与信息检索相结合的方法，检索知识图谱可给出高准确率的问答，并以信息检索为补充。

基于聊天的问答系统经常使用于开放域，使用方法包括信息检索和生成模型。

 

五、基于知识图谱的智能问答

对于知识图谱的构建须要从两个角度来进行抽象，一个是实体维度的挖掘，一个是短句维度进行挖掘，经过获取各类网上积累的大量数据，经过主题模型的方式进行挖掘、标注与清洗，再经过预设定好的关系进行实体之间关系的定义最终造成知识图谱，下表为知识图谱做为问答匹配的优缺点对比：

基于知识图谱的问答匹配

优势

• 在对话结构和流程的设计中支持实体间的上下文会话识别与推理
• 一般在通常型问答的准确率相对比较高(固然具有推理型场景的须要特殊的设计，会有些复杂)

缺点

• 模型构建初期可能会存在数据的松散和覆盖率问题，致使匹配的覆盖率确实；
• 对于知识图谱增量维护相比传统的QA Pair对知识的维护上的成本会更大一些；

对于知识图谱处理问答匹配的流程通常能够总结为以下图，主要包括8个过程：

• 天然语言的输入：问题文本
• 问题分类器：对输入的天然语言进行问题分类；
• 问题分析：主要完成分词、词性标注、实体识别和实体消岐工做；
• 语义槽提取：完成类别判别；
• SPARQL抽取：主要完成构造SQPARQL模板工做；
• 语义连接：主要解决语义槽中待连接的天然语言表达分别连接到<类别，资源，实体>对应的知识图谱中的URL上；
• SAPQRL查询生成：查询生成模块以及问题类别，以及链接完成的实体，构造标准的SPARQL查询；
• 结果生成：由SPARQL查询返回相应的结果，并转化成用户易于理解的形式；

基于知识图谱的智能问答，以上只是一种简单的实现方式，实际的状况远比这个要复杂，若是要达到比较好的智能问答效果，须要在语料库、技术架构、算法、业务理解等方面下功夫。这里借用电信业务场景的智能问答机器人的架构，简单展现一下具体的逻辑架构，更多详细资料能够参考相关论文（基于电信业务场景的智能问答机器人关键技术）。