14天动手学深度学习-Task3

一、批量归一化（BatchNormalization） 1.对全连接层做批量归一化 位置：全连接层中的仿射变换和激活函数之间。 2.对卷积层做批量归⼀化 位置：卷积计算之后、应⽤激活函数之前。 如果卷积计算输出多个通道，我们需要对这些通道的输出分别做批量归一化，且每个通道都拥有独立的拉伸和偏移参数。 计算：对单通道，batchsize=m,卷积计算输出=pxq 对该通道中m×p×q个元素同时做批量

>>阅读原文<<