BN层的反向传播

参考链接: BN层的参考链接1 BN层的参考链接2 ---- 前言 BN层的的公式:输入进行均值和方差,然后归一化,接着有两个参数,分别是scale和shift,其实一定程度上可以让BN层选择归一化恢复多少。有时候可以刚刚好等于均值和方差,那么就抵消了。 这里就说两个参数的意义,有时候我们并不想归一化的进入,这时候重要两个参数等于方差和均值,那么就可以抵消了归一化。 ----主体部分 前向传播:
相关文章
相关标签/搜索