深度学习的基础知识(RNN、LSTM等模型、梯度消失与爆炸、正则化、优化方式)

今天在看迁移学习中的一个模型COVE，里面用到了LSTM（ELMo也是），故而想回顾一下深度学习中的一些基础知识。 一、网络结构 1.RNN 在此之前先介绍fully connected、CNN、RNN等重要architecture（参见台大李宏毅老师的教程）   RNN与传统的feedward的区别在于：允许信息的持久化，即基于原始的信息去处理新的信息。   2.LSTM 但RNN不能处理长期依

>>阅读原文<<