Group Normalization 反向传播 BP推导(适用于caffe实现)

何凯明大神最近出的Group Normalization,文章中就自带了TF的实现代码,非常简洁,但是对于少数还在不得不使用caffe的人来说还得自己手动推导BP公式,网上找了很久都没有找到,此处花了一些时间推了一下,欢迎指正。 实际上推导出来后才发现GN的反向传播和Instance Norm基本一样,区别仅仅在于最后求Mean的范围,IN是针对一个channel进行求解,GN则是在一个group
相关文章
相关标签/搜索