深度学习之几种常见的激活函数及其用法

在深度学习中,常常要用到激活函数,激活函数在深度学习模型中非常重要,激活函数的选取极大地关系到模型的好坏,在此介绍一些常用的激活函数及其最常用的使用场景。图源网络,侵删。 什么是激活函数 激活函数顾名思义,就是将深度学习中的线性加权激活,引入非线性的因素。如果没有激活函数,神经网络只是简单地矩阵相乘,无论叠加了多少层,仍然是矩阵相乘,都只是线性的变换,但是在矩阵相乘后,引入一个激活函数,便引入了一
相关文章
相关标签/搜索