【论文笔记】Training Very Deep Networks - Highway Networks

目标： 怎么训练很深的神经网络 然而过深的神经网络会造成各种问题，梯度消失之类的，导致很难训练 作者利用了类似LSTM的方法，通过增加gate来控制transform前和transform后的数据的比例，称为 Highway network 至于为什么会有效...大概和LSTM会有效的原因一样吧。 方法： 首先是普通的神经网络，每一层H从输入x映射到输出y，H通常包含一个仿射变换和一个非线性变换，

>>阅读原文<<