天然语言处理系列-1.什么是NLP？

　　

　　经常会听到有人说，天然语言处理（NLP）是人工智能技术（AI）皇冠上的明珠。那么，从这句话上就可以看到，目前咱们经常说的NLP实际上是AI技术的一个分支，并且是较难的那一个分支。

那么，到底什么是NLP呢？大概这个问题会在咱们从事NLP研究和学习的过程当中会一直存在，当你处于不一样的阶段，应该会有不一样的理解。小Dream也只能说一说在目前这个阶段，对NLP的一些理解。

所谓“天然语言”，是相对于计算机语言（计算机可以理解的语言，如汇编、C语言等）而言的，也就是人类平常使用的语言。由于计算机设计之初主要是用于计算，或者完成某一项有明确规则任务。因此计算机语言与人类平常使用的语言存在很大的差别，计算机不能直接理解人类语言的含义，不能直接同人类进行沟通。要想实现计算机的智能化，不可以理解人类语言，是必需要跨越的一道障碍。由于，人类语言承载了人的思考、文化等，是每一个人对外沟通的最主要手段。NLP就是为了解决这样一个问题而出现的技术。他但愿可以使得计算机可以理解人类的语言，甚至是语言背后的文化与意图。例如说，当你说“我饿了”，计算机可以明白你肚子饿了，而且提出帮你定外卖；当你说“保护好你的菊花”，计算机可以结合当时的情境，明白你说的菊花究竟是哪一个菊花。

1. NLP技术的主要范畴

　　1）语音识别

　　顾名思义，就是将语音转化为文字。这一部分，小Dream还没机会涉及到，短期应该不会涉及，感兴趣的小伙伴能够出门左转，百度一下。

　　2）分词、实体识别等序列标注问题

　　分词和实体识别是天然语言处理比较基础的部分，可是很是的重要。小Dream以前涉及过实体识别相关的工做，因此会在下一篇NLP系列文章中介绍相关的工做，敬请关注啦。

　　3）机器翻译

　　这是NLP领域比较早的一个工做，谷歌的机器翻译已经可以作到较好的水平。谷歌在2018年，利用attention技术构建的Transformer模型，是目前在这一领域比较大的进展。

　　4）对话系统

　　智能客服，聊天机器人等都须要用到这一项NLP技术。小Dream将来一段时间都会从事这项工做的研究及开发，所这一方面应该作一个较长的连载了。

　　5）文本摘要

　　6）天然语言生成

　　最近，OPENAI发布的GPT2.0具备很高的天然语言生成能力，预期会对天然语言处理技术产生不小的影响，感兴趣的同窗能够参见以下连接：https://github.com/openai/gpt-2

　　7）文字蕴含

　　8）其余方面

2. NLP技术的难点

　　1）单词的边界界定

　　在口语中，词与词之间一般是连贯的，而界定字词边界一般使用的办法是取用能让给定的上下文最为通顺且在文法上无误的一种最佳组合。在书写上，汉语也没有词与词之间的边界。

　　2）词义的消歧

　　在各国的语言中，多义词的现象都比较多。NLP经常须要根据词语的上下文决定目前的语境环境下，该词的具体含义。

　　3）句法的模糊性

　　天然语言的文法一般是模棱两可的，针对一个句子一般可能会剖析出多棵剖析树，而咱们必需要仰赖语意及先后文的资讯才能在其中选择一棵最为适合的剖析树。

　　4）语言的归纳性

　　句子经常并不仅是字面上的意思；例如，“你能把盐递过来吗”，一个好的回答应当是把盐递过去；在大多数上下文环境中，“能”将是糟糕的回答，虽然说回答“不”或者“太远了我拿不到”也是能够接受的。再者，若是一门课程去年没开设，对于提问“这门课程去年有多少学生没经过？”回答“去年没开这门课”要比回答“没人没经过”好。

 

---------------------------------------------------------------------------------------------------------------------------------

     经常在想，生活的意义是什么？挣钱，买房，开豪车或许都很重要。可是真正能让心里平静的每每是亲近之人的笑容、获取知识的知足感。

 

更多的AI知识，关注“Dream看AI”，用简单、朴实的语言介绍AI技术。