关于lstm的理解

lstm是rnn的提高,解决了梯度消失的问题。时间 rnn中h 是上一步的输出(提取出了上一步的特征),和下一步的输入一块儿组合成新的输入, rnn中反向传播时,最后一步结果对于中间某一步h的导师遵循链式链式连乘法则,若是h前面的系数矩阵过小,就慢慢梯度消失 lstm中把h的状态选择addtattive的方式进行更新,上一步的h减一部分,这一部分的x中更新上去一部分。cell代替了以前rnn中h,
相关文章
相关标签/搜索