神经网络激活函数汇总(Sigmoid、tanh、ReLU、LeakyReLU、pReLU、ELU、maxout)

神经网络激活函数汇总(Sigmoid、tanh、ReLU、LeakyReLU、pReLU、ELU、maxout) 常规 sigmoid 和 tanh sigmoid 特色:能够解释,好比将0-1之间的取值解释成一个神经元的激活率(firing rate)web 缺陷:网络 有饱和区域,是软饱和,在大的正数和负数做为输入的时候,梯度就会变成零,使得神经元基本不能更新。 只有正数输出(不是zero-c
相关文章
相关标签/搜索