highway network

highway network 2015年的文章了,由于最近收到了推送,才去详细了解了一下,特意在此做个笔记。 highway network的思想很简单,作者受LSTM的启发,在普通的网络上加了两个门而已(一个叫 Transform gate,另一个叫Carry gate)。Highway network可以有效缓解层数特别深的网络在优化时出现的梯度消失问题,可以对1000多层的网络进行有效的优
相关文章
相关标签/搜索