【机器学习】 激活函数和代价函数

【激活函数】 如果没有激活函数，那么神经网络模型就是一个线性模型；即便有再多的隐藏层，整个网络也只能等价于一个单层的神经网络。有了激活函数以后，神经网络就能建模非线性模型，能广泛处理复杂的问题。 阶跃函数：最早采用的激活函数是阶跃函数，但其光滑性不好，所以实际中用光滑性较好的函数替代。 Sigmoid函数：Sigmoid函数具有可微性和单调性，输出值的范围是(0,1)，在物理意义上最接近生物神经元

>>阅读原文<<