Normalization Technique总结

1.相关介绍： 神经网络在多个领域取得了非凡的成就，例如，语音识别，图像识别等。因此，训练神经网络是个重要的任务，gradient descent常被用来寻来拿神经网络。但在网络比较深时，gradient descent容易出现梯度消失或梯度爆炸等现象。所以，在使用SGD算法对神经网络进行优化时，须要当心的对模型超参数进行微调，例如学习速率，模型参数的初始化等。神经网络的训练过程是很复杂的，每层的

>>阅读原文<<