【PyTorch学习笔记】19：Batch Normalization

归一化(Normalization) 简述 现在常使用ReLU函数，避免梯度弥散的问题，但是有些场合使用Sigmoid这样的函数效果更好（或者是必须使用），如Sigmoid函数当函数值较大或者较小时，其导数都接近0，这会引起梯度弥散，所以要将输入控制在一个较好的范围内，这样才避免了这种问题。 Batch Normalization就是为了解决这个需求的，当将输出送入Sigmoid这样的激活函数之前

>>阅读原文<<