BN相关知识点和面试问题整理

主要问题：BN的基本原理，手写BN的基本公式，BN放在什么位置，BN在训练和测试阶段有什么不同，BN为什么可以防止过拟合？ BN的基本原理 BN的思路是调整各层的**值分布，使其具有适当的广度，使每一层神经网络的输入在深度神经网络训练中保持相近分布，其优点为 1.可以使学习快速进行（可以增大学习率） 2.不那么依赖初始值（对初始值没那么敏感） 3.抑制过拟合（降低Dropout等的必要性） BN的

>>阅读原文<<