BN的理解(一)

0、问题数组   机器学习领域有个很重要的假设:IID独立同分布假设,就是假设训练数据和测试数据是知足相同分布的,这是经过训练数据得到的模型可以在测试集得到好的效果的一个基本保障。那BatchNorm的做用是什么呢?BatchNorm就是在深度神经网络训练过程当中使得每一层神经网络的输入保持相同分布的。网络   思考一个问题:为何传统的神经网络在训练开始以前,要对输入的数据作Normalizati
相关文章
相关标签/搜索