RNN的反向传播

RNN模型示例： ht=σ（W(hh)ht-1+W(hx)xt） y^=softmax(W(S)ht) ​ RNN常用Cross Entropy error作为损失函数，在某个时间步t的损失函数（j遍历维度） 在大小为T的corpus上的误差： 反向传播图示 为了计算RNN误差dE/dw，需要把每一个时间步的误差（dEt/dw）进行加和，误差对参数求梯度的公式如下： 注意dht/dhk是指ht对所

>>阅读原文<<