LSTM 网络结构简述

LSTM 神经网络 为什么提出LSTM？ RNN 存在“长期依赖”问题，当序列过长时候，一方面在优化时出现梯度消失或爆炸的问题。另一方面，展开后的前馈神经网络会占用较大的内存。 实际中，复杂语言场景中，有用的信息间隔有大有小，长短不一，RNN性能受限。LSTM则靠一些“门”结构让信息有选择性地影响循环神经网络中每个时刻的状态。 什么是“门” “门”结构就是通过使用sigmoid函数和按位乘法的操作

>>阅读原文<<