chapter-6-训练神经网络(上)

激活函数 一、sigmoid sigmoid有一些优秀的性质，比如它的值域为[0,1]；它的函数性质和神经元有一定的相似性；它的导数简洁而优雅 。但现在一般不选择它，因为它有上图提及的三个问题。 关于第二个问题，我们考虑w是二维的情况： 可以看出，当输入神经元的值始终为正时，导致w的变化只能朝向第一和第三象限，这也不是不可以，但这样会导致梯度变化速度过慢。 二、tanh tanh相较于sigmoi

>>阅读原文<<