[李宏毅-机器学习]循环神经网络 RNN

  双向RNN   LSTM 将xt(向量)使用线性变换为z(向量),其中z的维度就是cell的数目,将每个维度(scale)单独输入到每个cell 得到每个词的词性 clipping 梯度裁剪 当梯度大于阈值的时候,遗弃或缩小该梯度  由于时间的叠加,权重小的变化,会因此梯度剧烈的变动        
相关文章
相关标签/搜索