神经网络系列学习笔记(四)——神经网络之RNN学习笔记

　　不一样于传统的FNNs(Feed-forward Neural Networks，前向反馈神经网络)，RNNs引入了定向循环，可以处理那些输入之间先后关联的问题。

　　RNNs的目的是用来处理序列数据。

　　具体的表现形式为网络会对前面的信息进行记忆并应用于当前输出的计算中，即隐藏层之间的节点再也不无链接而是有链接的，而且隐藏层的输入不只包括输入层的输出还包括上一时刻隐藏层的输出。

LSTM Networks:

　　它与通常的RNNs结构本质上并无什么不一样，只是使用了不一样的函数去去计算隐藏层的状态。

　　已经证实，该网络结构在对长序列依赖问题中很是有效。

 

 

学习资料：

http://www.wildml.com/2015/09/recurrent-neural-networks-tutorial-part-1-introduction-to-rnns/

http://adventuresinmachinelearning.com/recurrent-neural-networks-lstm-tutorial-tensorflow/