(12)[arXiv16] Layer Normalization

计划完成深度学习入门的126篇论文第十二篇,多伦多大学的Hinton针对RNN等模型研究了对于Batch Norm的变种Layer Normalization。 本篇论文一作Jimmy Lei Ba同时也是Adam的作者。 ABSTRACT&INTRODUCTION 摘要 训练最先进的深层神经网络在计算上是昂贵的。减少训练时间的一种方法是使神经元的活动正常化。最近引入的一种称为批处理规范化的技术,
相关文章
相关标签/搜索