【深度学习】参数初始化与Batch Normalization

一、参数初始化原则 参数初始化作为模型训练的起点，决定了模型训练的初始位置。选择的好坏很大程度影响收敛的速度与最终的训练结果。一般来说，参数初始化遵循以下几点要求： 不建议同时初始化为一个值，容易出现“对称失效” 最好保证均值为0，正负交错，参数大致数量相等 初始化参数不要太大或太小，前者会导致梯度发散难以训练，后者会导致特征对后面的影响逐渐变小 二、常见的初始化方法 1、全零初始化与随机初始化

>>阅读原文<<