RNN网络结构及公式推导

RNN结构如图所示： Xt∈Rx 表示t时刻的输入( Xt 是多少维，则这一层有多少个神经元，这里设为 x 维，图中画的是3维） ht∈Rh 表示t时刻隐层的输出(假设这一层有h个神经元） yt∈Ry 表示t时刻的预测输出 dt∈Ry 表示t时刻的期望输出 V∈Rx×h 表示从输入层到隐层的权值矩阵 U∈Rh×h 表示上一个时刻到这个时刻的权值矩阵 bh∈Rh 表示隐层的偏置，其中每一项对应某一神

>>阅读原文<<