LSTM初探

要说LSTM,那就得先从RNN提及,RNN是一种对序列型数据进行建模的工具,在语音识别,机器翻译等领域有很好的应用。LSTM能够说是RNN的改进版,简单来讲,RNN对长距离序列处理时会出现梯度消失或者爆炸这种现象,使得训练不起来(注:梯度消失或者爆炸问题不光在RNN中出现,在其余神经网络中也有,好比在使用sigmoid的激活函数时就可能出现,只不过那边处理的方法能够是替换激活函数,好比为Relu)
相关文章
相关标签/搜索