BPTT-RNN训练算法

BP算法：定义误差函数 E ，通过链式法则自顶向下求得 E 对网络权重的偏导。沿梯度的反方向更新权重的值，直到 E 收 敛。 BPTT：与BP类似，加上时序演化。 输出的激活函数：双曲正切，通过softmax，损失交叉熵。 举一个例子：求E3对V的梯度 y是输出值，z是输入激活函数的值，z=V*S3.最后求和可得E对V的梯度！！(梯度下降) E对W梯度 W是相同的，所有求对W的梯度需要求所有的。s

>>阅读原文<<