【论文笔记】Highway Network: Training Very Deep Networks (2015)

这篇论文提出了著名的Highway Network，用于解决深层网络的训练问题。这个结构已经得到了广泛的应用，也有很多资料。我之所以阅读这篇五年前的论文，主要是看现在的资料觉得对网络的结构理解的还是比较浅，于是想看看发明者的思路，在这里对收获做了一些总结。 1.介绍 网络深度的增加会为网络带来更多的表现力，但网络深度同时也让网络很难去训练。在这篇论文之前，解决方案大致从这几个方面出发： 优化器：

>>阅读原文<<