归一化处理

对全连接层的归一化处理 对卷积层做批量归一化 对卷积层来说，批量归一化发生在卷积计算之后、应用激活函数之前。如果卷积计算输出多个通道，我们需要对这些通道的输出分别做批量归一化，且每个通道都拥有独立的拉伸和偏移参数，并均为标量。设小批量中有 𝑚 个样本。在单个通道上，假设卷积计算输出的高和宽分别为 𝑝 和 𝑞 。我们需要对该通道中 𝑚×𝑝×𝑞 个元素同时做批量归一化。对这些元素做标准化计

>>阅读原文<<