循环神经网络:循环神经网络

本节将介绍循环神经⽹络。它并⾮刚性地记忆所有固定⻓度的序列,而是通过隐藏状态来储存之前时间步的信息。⾸先我们回忆⼀下前⾯介绍过的多层感知机,然后描述如何添加隐藏状态来将它变成循环神经⽹络。 一、不含隐藏状态的神经网络 先考虑一个单层的多层感知机: 复习一遍隐藏层的输出、输出层的输出。 隐藏层的输出: H = ϕ ( X W x h + b h ) H=\phi (XW_{xh}+b_h) H=ϕ(
相关文章
相关标签/搜索