LSTM简介以及数学推导(FULL BPTT)

前段时间看了一些关于LSTM方面的论文，一直准备记录一下学习过程的，由于其余事儿，一直拖到了如今，记忆又快模糊了。如今赶忙补上，本文的组织安排是这样的：先介绍rnn的BPTT所存在的问题，而后介绍最初的LSTM结构，在介绍加了遗忘控制门的，而后是加了peephole connections结构的LSTM，都是按照真实提出的时间顺序来写的。本文至关于把各个论文核心部分简要聚集一下而作的笔记，已提供快

>>阅读原文<<