LSTM Networks

转自:http://deeplearning.net/tutorial/lstm.html 在传统的递归神经网络中,在梯度反向传播阶段,梯度信号可以被与经常隐藏层的神经元之间的连接相关联的权重矩阵相乘,从而得到大量的时间(如时间步数)。这意味着,转换矩阵中权重的大小对学习过程有很大的影响。 如果这个矩阵中的权重很小(或者,更正式地说,如果权重矩阵的主要特征值小于1.0),它就会导致一个称为消失梯度
相关文章
相关标签/搜索