谈谈激活函数以零为中心的问题

今天在讨论神经网络中的激活函数时，陆同学提出 Sigmoid 函数的输出不是以零为中心的（non-zero-centered），这会导致神经网络收敛较慢。关于这一点，过去我只是将其记下，却并未理解背后的原因。此篇谈谈背后的原因。 神经元 图片来自：https://zhuanlan.zhihu.com/p/25110450 如图是神经网络中一个典型的神经元设计，它完全仿照人类大脑中神经元之间传递数据

>>阅读原文<<