谈谈激活函数以零为中心的问题

谈谈激活函数以零为中心的问题 转载：https://liam.page/2018/04/17/zero-centered-active-function 今天在讨论神经网络中的激活函数时，陆同学提出 Sigmoid 函数的输出不是以零为中心的（non-zero-centered），这会导致神经网络收敛较慢。关于这一点，过去我只是将其记下，却并未理解背后的原因。此篇谈谈背后的原因。 神经元 图片来自

>>阅读原文<<