为什么梯度消失在传统RNN中相比于CNN更严重？

当神经网络层数非常深时，神经网络优化算法会面临的另外一个难题就是长期依赖问题——由于变深的结构使模型丧失学习先前信息的能力，让优化变得极其困难。 而循环神经网络的设计初衷之一就是为了能够捕获长距离输入之间的依赖关系，深度经网络中的梯度消失会让使用BPTT算法学习到的循环神经网络并不能成功捕获到长距离的依赖关系。 为什么这个问题在RNN中更加凸显呢？ 这是因为循环审计宁网络在很长的时间序列的各个时刻

>>阅读原文<<