Keras蚂蚁金服大赛实战——天然语言处理技术

以前在天然语言处理技术系列的第一篇NER实战的结语中介绍过：序列标注（分词，NER），文本分类（情感分析），句子关系判断（语意类似判断），句子生成（机器翻译）是NLP领域的四大任务，以后我又陆续简单介绍了情感分析实战,和Seq2Seq生成对联。今天咱们来到这个系列的终章篇——语义类似判断。语义类似判断就是判断两个句子是否具备相同的语义，其应用场景多用于问答系统：

• 判断两个问句是否具备相同的语义。
• 判断问题和检索出的答案是否匹配。

固然也能够用于其余场景好比判断两幅图片是不是同样——人脸识别，因此从广义上来讲，就是语义相识判断就是判断两个东西是否具备某种类似度的任务。

语义类似判断任务简介

语义类似能够转化为一个分类问题。给模型输入两个句子,而后但愿模型判断出两个句子语义是否类似。具体输入输出细节以下:
输入：

• 1.为什么我没法申请开通花呗信用卡收款
• 2.支付宝开通讯用卡花呗收款不符合条件怎么回事

输出：1
若是输出0表示不类似，输出1表示类似。

语义类似判断算法简介

语义类似仍是NLP中的老问题，如何将句子映射到到向量空间中同时保持语义，而后咱们就能够经过各类距离去衡量句子的类似程度。

• 上古时期的方式是经过bag of words，tf-idf这种词袋模型去映射句子。
• 以后出现了word2vector技术，咱们就能够将一句话中每一个词的的词向量求平均来