上古激活函数之local response normalizatiion

最近因为工作原因，需要写lrn的gpu shader实现，公式如下： 个人觉得lrn只适用于分类网络，且作用不大。 其一，网络在初始训练时，权重都是随机值，产生的特征没有表征意义，对没有表征意义的特征进行抑制或者放大，不合理，除非把公式里的几个超参改进成可训练的，随着网络的训练施加影响。 其二，对于非分类网络，例如图像生成，相邻通道值是不需要放大差距的，例如网络的最后进程，一般一个通道只表示一个或

>>阅读原文<<