激活函数(Activation Functions)概述

Activation Function 在神经元中,输入的 inputs 通过加权,求和后,还被作用了一个函数,这个函数就是激活函数 Activation Function。神经网络中使用激活函数来加入非线性因素,提高模型的表达能力。 Activation Function性质 可微性:计算梯度时必须要有此性质。 非线性:保证数据非线性可分。 单调性:保证凸函数。 输出值与输入值相差不会很大:保证
相关文章
相关标签/搜索