LSTM反向传播算法 (基于矩阵求导的方法)

时间 2021-01-13

原文原文链接

如下图所示（图片来自网络）。LSTM的核心思想是使得细胞状态Ct-1通过传送带，只经过少量的交互就输出Ct ，这使得之前的信息能够传递到当前，解决了RNN误差后向传播的梯度消失问题。它与RNN一样，参数是共享。如下图所示，这三个LSTM细胞的参数是相同的，不同的是输入值不同，因此输出值Ht和Ct也不同。对应的数学模型为如果我们使用随机梯度下降法对网络进行优化，则输入数据和输出数据是逐个到来的

>>阅读原文<<

1. 正向传播，反向传播，矩阵求导
2. LSTM前向传播与反向传播算法推导（很是详细）
3. 反向传播(BackPropagation)算法的推导
4. 反向传播算法的推导
5. 反向传播算法（BackPropagation）
6. 矩阵求导方法
7. 反向传播算法
8. 反向传播BP算法
9. 反向传播(BP)算法
10. 矩阵求导法
更多相关文章...
• R 矩阵 - R 语言教程
• HTTP 请求方法 - HTTP 教程
• ☆基于Java Instrument的Agent实现
• Flink 数据传输及反压详解