关于BN层的一点理解

一直以来对BN层两个学习参数belta和gamma不太理解，今天又在知乎问题上看到了“请问batch_normalization作了normalization后为何要变回来？”这个问题，题主好像跟我以前想的同样（笑）。因而认真查阅了相关资料，获得如下一点看法：学习  Internal Covariate Shift（ICS）[1]：对 DNN 某一层，随着 GD 训练的过程当中参数的改变，该层的输

>>阅读原文<<