激活函数和损失函数

深度学习中常用的激活函数和损失函数 对于激活函数跟损失函数做一下记录，后面再看时也方便，可能有些图片搬运的各位大佬的，还请见谅。 激活函数 激活函数有很多，主要记录常用的和比较经典的一些，例如sigmoid、tanh、RELU及其变种。 首先说一下激活函数的作用，一般激活函数作用于神经网络中卷积层的后面，用来引入非线性因素，通过激活函数这种非线性函数来加强神经网络的拟合能力（不再单纯是线性函数了）

>>阅读原文<<