循环神经网络:从RNN到LSTM(学习笔记01)

人类不会每秒都从头开始思考,也不会像鱼一样,只有七秒钟的记忆。在阅读文章的时候,你会通过先前的每一个单词,每一句话,来了解和思考接下去的每一句话。 而在传统的神经网络中就不能解决这个问题,于是就有了循环神经网络。 下面是一个典型的循环神经网络: 这是一个循环神经网络按照时间展开的网络。我们可以看到,每一个时间迭代t时刻,每个神经元都能同时接收到输入向量x(i)和前一个时间迭代是输出量h(t-1)。
相关文章
相关标签/搜索