tensorflow&神经元函数及优化方法

1.激活函数： tf.nn.relu(): f(x) = max(x,0) tf.nn.sigmoid()：sigmoid 函数的优点在于,它的输出映射在(0,1)内,单调连续,非常适合用作输出层,并且求导比较容易。但是,它也有缺点,因为软饱和性 ,一旦输入落入饱和区,f ‘(x)就会变得接近于 0,很容易产生梯度消失 S(x) = 11+e−x 1 1 + e − x tf.nn.tanh():

>>阅读原文<<