深度学习归一化简介

 我们假定数据输入的图像是[patch, width, height, channel] N:patch C:channel  BN(批归一化):  求出x的均值 求出x的方差 利用正态分布的标准化,使其服从标准正态分布 但是破坏原来的数据分布,所以需要第四步进行重构,gama 和 beta 是可以学习到的参数;当gama = std, beta = mean 就会恢复到原来的分布 优点: 对参数
相关文章
相关标签/搜索