深度学习剖根问底：BN中的协方差偏移

今天给大家带来深度学习的优化策略篇的第一篇Batch Normalization（BN）。BN可以看做对输入样本的一种约束，最大作用是加速收敛，减少模型对dropout，careful weight initialnization依赖，可以adopt higher learning rate的优势，收敛速度可以提高10倍以上。   问题提出： 深度网络参数训练时内部存在协方差偏移（Internal

>>阅读原文<<