RNN、LSTM基础

RNN DNN的无法对时间序列上的变化进行建模,所以出现了RNN,神经元的输出可以在下一个时间戳直接作用到自身。但是RNN出现梯度消失,长短时记忆单元LSTM,通过门的开关实现时间上记忆功能,并防止梯度消失。 RNN既然能继承历史信息,是不是也能吸收点未来的信息呢?双向RNN、双向LSTM,同时利用历史和未来的信息。 LSTM GRU GRU对LSTM做了两个大改动 1.将输入门、遗忘门、输出门变
相关文章
相关标签/搜索