Batch Normalization的理解

首先在神经网络中,每一层网络结构都会有一个激活函数,以咱们比较常见的sigmoid函数为例,咱们能够看看sigmoid激活函数的图像如图所示: 咱们试想一下,若是这个时候某个神经元的输入为4,那么通过sigmoid函数以后,这个神经元的输出是 y = 0.982 y=0.982 y=0.982,若是神经元的输入为20,通过sigmoid函数以后,神经元的输出是 y = 0.999 y=0.999
相关文章
相关标签/搜索