RNN求梯度中最关键一环：对隐含层求梯度

在看《动手学深度学习》一书时，里面有介绍简化版的对RNN求梯度。其中求隐含层梯度时，作者只是简略地说了句“将上⾯的递归公式展开”就直接给出了结果，下面我详细地给出中间步骤。 ∂ L ∂ h t = W h h ⊤ ⋅ ∂ L ∂ h t + 1 + W q h ⊤ ⋅ ∂ L ∂ O t \frac{\partial L}{\partial h_t} = W^{\top}_{hh} \cdot \

>>阅读原文<<