LSTM中遗忘门,输入门和输出门的实际意义是什么

上面是LSTM的计算公式,首先找那几个门,其实好找,那三个Sigmod作为非线性函数的就是三个门,很明显其取值范围在0到1和门打开关闭的物理意义是很好对应起来的。 所以含义很清楚, 输入门是用来控制输入i’(t)进出多少或者是否允许进出的门控设备; 输出门是用来控制t时刻状态值m(t)对外多少是可见的门控设备; 遗忘门是控制RNN中历史状态m(t-1)流动到t时刻后允许多少进入t时刻的门控设备;
相关文章
相关标签/搜索