Stanford 深度自然语言处理 学习笔记（八）

概率越大，越有可能是正确的表达。   RNN   关于梯度 当t－k足够大且βWβh比1小或比1大时，指数(βWβh)t−k很容易为较小或较大的值。由于词距较远的交叉熵误差通过t－k来评估。当梯度消失时，在迭代t中词距较远的词对于预测下一个词的贡献度将会逐渐下降。  在实验过程中，一旦梯度值增长很大，就会很容易探测到其引起的溢出（如：无穷与非数值）；这就是梯度爆炸问题。然而，当梯度值接近于零时。对

>>阅读原文<<