深度学习ReLU激活函数

ReLU激活函数 在深度学习中,有修正线性单元(Rectified linear unit,ReLU)的激活函数 x轴是时间,y轴是放电速度 神经元的工作方式: 1、稀疏性 2、分布性 我们开始介绍ReLU激活函数 首先,我们来看一下ReLU激活函数的形式 从图中可以看出来ReLU函数他是一个分段的函数在一边都让他是0另一边随着数据的增大而变大 这种操作被成为单侧抑制。 有了单侧抑制,才让神经网络
相关文章
相关标签/搜索