由selu和Batch Normalization谈深度学习的归一化问题

为什么深度学习需要归一化 一个标准的归一化步骤就是减均值除方差，如下图，就是把数据集中分布的位置从其它地方，移到中心，注意这个数据是可以输入也可以是网络中间的某一层输出 那么我们为什么希望数据集中分布在中央，像正态分布一样呢，我认为，大多数激活函数都是在中央位置曲线更平滑，斜率变动不会过大过小，能解决梯度消失和梯度爆炸问题。 selu和Batch Normalization BN是批归一化，简单说

>>阅读原文<<