优化循环神经网络长期依赖问题 LSTM GRU 截断梯度 渗透单元

长期依赖问题 长期依赖问题在于经过许多阶段梯度传播后，梯度倾向于消失（多数）或者爆炸（少数）。循环神经网络涉及到多次相同函数的组合，这些组合导致极短的非线性。 ESN回声状态网络： 。。。 跳跃连接： 从过去某个层输出，直接链接到未来层。引入d延时循环链接保证单元能够被前d个单元影响，减轻梯度爆炸和消失问题。导数的指数减小速度与T/d有关而不是T有关。如ResNet： 渗透单元： 设置自连接单元从

>>阅读原文<<