激活函数 sigmoid、tanh、relu

激活函数（activation functions）的目标是，将神经网络非线性化。激活函数是连续的（continuous），且可导的（differential）。 连续的：当输入值发生较小的改变时，输出值也发生较小的改变； 可导的：在定义域中，每一处都是存在导数； 激活函数 常见的激活函数：sigmoid，tanh，relu。 sigmoid sigmoid是平滑（smoothened）的阶梯函数

>>阅读原文<<