python天然语言处理——1.5 自动理解天然语言

微信公众号：数据运营人
本系列为博主的读书学习笔记，如需转载请注明出处。

第一章 语言处理与python

1.5 自动理解天然语言词意消歧指代消解自动生成语言机器翻译人机对话系统文本的含义

1.5 自动理解天然语言

词意消歧

你们都应该知道，不管是汉语，英语甚至其余语言，每个词语都有不一样的含义，所谓的词意消歧就是经过文章的上下文来肯定该词语在该文中所表达的含义。

指代消解

指代消解做为信息抽取领域的一个热点技术，从广义上看就是在文章中肯定代词纸箱那个名词短语的问题。按照指向通常分为回指和预指，回指就是代词的先行词在代词的前面；预指指代词的先行词子啊代词的后面。通常包含人称代词，指示代词普通名词短语等。

自动生成语言

随着近年来文本数据的指数级增加和AI技术的不断发展，一些大型的公司经过收集的文本进行建模学习，实现了自动生成语言的技术，如腾讯的新闻写做机器人，自动生成股评等。

腾讯写做机器人

机器翻译

长久以来，机器翻译（ MT）都是语言理解的圣杯，人们但愿能找到从根本上提供高品质的符合语言习惯的任意两种语言之间的翻译。虽然目前的机器翻译技术获得了很大的提高，但由于每个词语都有不少的含义，以及机器对上下文的衔接存在瑕疵，还有待去提升。

谷歌翻译

人机对话系统

咱们所能看到的最基础一些人机系统有淘宝京东客服等，经过一些关键词与进行沟通对话。而语音的人机对话系统会稍微复杂，其中最为核心的技术是语音识别成文字（ASR）/语言理解（NPU）/文字合成为语音（TTS）

人机对话系统框架

文本的含义

近年来，一个叫作文本含义识别（Recognizing Textual Entailment,简称RTE）的“公开共享任务”成为语言理解所关注的焦点，和咱们日常的语言理解不一样，相似于公务员考试中的推理题。
如：
（1）若是有人是一本书的做者，那么他写了这本书；
（2）若是有人是一本书的编辑，那么他没有写这本书；
（3）若是有人是18本书的编辑或做者，责没法判定他是18本书的做者。