深度学习加速器Layer Normalization-LN

前面介绍了Batch Normalization(BN),公众号菜单栏能够得到文章连接,今天介绍一种和BN相似的深度学习normalize算法Layer Normalization(LN)。算法 LN提出:BN针对一个minibatch的输入样本,计算均值和方差,基于计算的均值和方差来对某一层神经网络的输入X中每个case进行归一化操做。但BN有两个明显不足:1、高度依赖于mini-batch的大
相关文章
相关标签/搜索