Batch Normalization:Accelerating Deep Network Training by Reducing Internal Covariate Shift 论文笔记

0 摘要     当前神经网络层之前的神经网络层的参数变化,会引起神经网络每一层输入数据的分布产生变化,这使得训练一个深度神经网络变得复杂。通过设置较小的学习率以及更谨慎的初始化参数减慢了训练,并且由于非线性饱和(注:如sigmoid激活函数的非线性饱和问题),训练一个深度神经网络会非常困难。这种现象被称为internal covariate shift。解决这个问题需要对输入进行标准化。本文的方
相关文章
相关标签/搜索