神经网络基本讲解（神经网络、激活函数、归一化与批归一化、dropout）

深度神经网络：层次非常深的神经网络 归一化：把输入数据做一个规整，使得它均值为0，方差为1。 Min-max归一化：x’=(x-min)/(max-min) Z-score归一化：x’=(x-u)/O 批归一化：把归一化的思路从输入数据上，扩展到网络的每层激活值上。 左图：未归一化，等高线是椭圆，在椭圆上计算梯度时，指向的不一定是圆心，训练轨迹曲折。 右图：归一化，等高线是正圆。法线方向对着圆心。

>>阅读原文<<