ML读书笔记(循环神经网络)

目的:捕捉序列中的长距离依赖关系 A. 文本分类的RNN:   过激活函数f得到h   最后一个时刻的h,编码了整个输入序列,在最后一个时刻的h上加输出层,过softmax,得到各个类别的概率; B. BPTT(Back Propagation Through Time) 梯度爆炸:使用梯度裁剪来缓解,当梯度的L2-Norm大于某个给定值时,对梯度进行等比收缩;(Tensorflow里的tf.cl
相关文章
相关标签/搜索