一些激活函数公式

 http://mp.weixin.qq.com/s/4gElB_8AveWuDVjtLw5JUA sigmoid函数： 导数推导： 所以sigmoid的倒数 y' = 1 - y。   其他激活函数及其导数：   rectifier(x) = max(0, x)  rectifier 函数被认为有生物上的解释性。神经科学家发现神经元具有单侧抑制、宽兴奋边界、稀疏激活性等特性。采用 rectifi

>>阅读原文<<