Step by Step LSTM Walk Through

1、LSTM的第一步是决定我们要从细胞状态中扔掉什么信息。这个决定是由一个称为“忘记门层”的sigmoid 层组成。 选择保持记忆传递，还是忘记。 例如： 记忆：语言模型，试图根据前面所有的单词来预测下一个单词。 忘记：拥有当前的主题类别，我们想换新的主题类别，就要忘记当前的主题类别。 2、第二步是决定什么样新的信息我们将保存在细胞状态中。这里面包含两部分。 a.首先一个sigmoid 层，叫做输

>>阅读原文<<