BP,RNN 和 LSTM暨《Supervised Sequence Labelling with Recurrent Neural Networks-2012》阅读笔记

一、BackPropagation :表示第层第k个神经元到第层第j个神经元的连接权重; :表示第层第j个神经元的偏置; :表示第层第j个神经元的带权输入; :表示第层第j个神经元的激活值; :表示一个激活函数(sigmoid,relu,tanh); 向量化上面的公式: L(W,b,x,y):表示损失函数,其中y是正确值,x是输入,下面是二次方损失函数的计算; 阿达马(Hadamard)乘积,表示
相关文章
相关标签/搜索