deep learning.ai 第五课笔记 -序列模型

第一周:循环序列模型 1.循环神经网络的反向传播如下 2.几种序列模型的结构 3.nlp可以用字符或者词汇的模型,字符的模型不会出现位置字符,但是字符的模型训练量巨大,因为一句话可以只有10~20个单词,但可能会有很多字符,所以现有的自然语言处理的趋势是使用词汇的模型 4.如果遇到梯度爆炸,比如参数为Nan或者未知字符或者特别大出现数值溢出时,可以用梯度修剪方法,即观察参数,如果他大于某个阈值则缩
相关文章
相关标签/搜索