动手学深度学习笔记6BN和残差网络

一、批量归一化BN 对输入的归一化（浅层模型）： 1.处理后的任意一个特征在数据集中所有样本上的均值为0、标准差为1。 2.标准化处理输入数据使各个特征的分布相近 批量归一化（深度模型）： 利用小批量上的均值和标准差，不断调整神经网络中间输出，从而使整个神经网络在各层的中间输出的数值更稳定。 BN有两种情况： 1.对全连接层进行批量归一化： 位置：全连接层中的仿射变换和激活函数之间。 全连接： 此

>>阅读原文<<