Deep Learning.ai学习笔记_第五门课_序列模型

目录

第一周 循环序列模型

第二周 天然语言处理与词嵌入

第三周 序列模型和注意力机制

 

第一周 循环序列模型

在进行语音识别时，给定一个输入音频片断X，并要求输出对应的文字记录Y，这个例子中输入和输出数据就是序列模型。

音乐生产问题也是使用序列数据的一个例子。

 

在天然语言处理中，首先须要决定怎样表示一个序列里单独的单词，解决办法式建立一个词典。而后每一个单词的序列表示可使用该词典长度的一维数组来表示，匹配的位置数据为1，其它位置数据为0。

下面看一个循环神经网络模型：

 

RNN反向传播示意图：

 

如何构建一个语言模型呢?

首先须要一个训练集，包含一个很大的英文文本语料（corpus）或者其它的语言，你想用于构建模型的语言的语料库。语料库是天然语言处理的一个专有名词，意思就是很长的或者说数量众多的英文句子组成的文本。

 

下图是一个RNN构建序列的几率模型：

 

RNN的梯度消失：

 

 

GRU单元：

 

LSTM主要公式：

 

双向RNN：

 

深层循环神经网络（Deep RNNs）

 

下面看一下RNN单元：

 

LSTM模型能够更好地解决梯度消失问题，可以更好地记住一条信息，而且能够在不少时间步中保存。

下面看下LSTM模块：

 

 

第二周 天然语言处理与词嵌入

在对单词进行向量化表示的时候，能够对其特征进行标志学习，例如学习apple的相关特性后，能够依据orange与apple的类似程度，推断出orange也会有相关的特性。通常能够定义一个多维的特征向量，每一维表示一个特性判断。

 

使用词潜入，可以有效解决一些同类型词特性识别问题，其中该词在训练集中出现较少或者就没有出现过。 当你的任务的训练集相对较小时，词嵌入的做用最明显，因此它普遍用于NLP领域。

 

词嵌入的特性

若是你学习一些词嵌入，经过算法来找到使得类似度最大化的单词w，你确实能够获得彻底正确的答案。例如，man和women的差值，求出king对应的差值单词，比较理想的单词是queen。

词嵌入的一个显著成果就是，可学习的类比关系的通常性。举个例子，它能学会man对于woman至关于boy对于girl，由于man和woman之间和king和queen之间，还有boy和girl之间的向量差在gender（性别）这一维都是同样的。

 

如何创建神经网络来预测序列中的下一个单词？以下图模型

 

 

CBOW是从原始语句推测目标字词；而Skip-Gram正好相反，是从目标字词推测出原始语句。CBOW对小型数据库比较合适，而Skip-Gram在大型语料中表现更好。 （下图左边为CBOW，右边为Skip-Gram）

 

 

情感分类任务就是看一段文本，而后分辨这我的是否喜欢他们在讨论的这个东西，这是NLP中最重要的模块之一，常常用在许多应用中（PS：例如，从用户对某店铺的评价留言信息，分析出是正面评价还负面评价，并给出最终的打分衡量数据）。 情感分类一个最大的挑战就是可能标记的训练集没有那么多。下图是一个简单的模型：

 

 

第三周 序列模型和注意力机制

目前，深度学习技术能够借助seq2seq模型实现不一样语言的互译，以及识别图片，给出图片中物体的描述。以下图，识别图中猫，给出文字描述：

 

 

集束搜索算法可以让机器翻译的记过更加贴近原意，并且语法也可以尽可能规整。

长度归一化（Length normalization）是对集束搜索算法稍做调整的一种方式，帮助获得更好的结果。

 

当你使用RNN读一个句子，因而另外一个会输出一个句子。咱们要对其作一些改变，称为注意力模型（the Attention Model），而且这会使它工做得更好。注意力模型或者说注意力这种思想（The attention algorithm, the attention idea）已是深度学习中最重要的思想之一，下图是其运行模式：

 

注意力模型可以让一个神经网络只注意到一部分的输入句子，当它生成句子的时候，更像人类翻译。模型以下图：

 

 

 

参考资料：

1.http://www.javashuo.com/article/p-tecmlaqx-mr.html

2.http://www.ai-start.com