NLP 总结

LSTM 三个门控制对前一段信息、输入信息以及输出信息的记忆状态，进而保证网络可以更好地学习到长距离依赖关系。 遗忘门（记忆门）：通过判断当前输入信息的重要程度决定对过去信息的保留度 输入门：通过判断当前输入信息的重要程度决定对输入信息的保留度 输出门：当前输出有多大程度取决于当前记忆单元 **函数： 门：sigmoid，0-1分布概率，符合门控的定义。且当输入较大或者较小时，值会接近1或0，进而

>>阅读原文<<