深度学习_深度学习基础知识_Mish激活函数

Mish激活函数的示意图: Mish激活函数的公式: 也可以用下面的公式表示: Mish激活函数的优点: 以上无边界(即正值可以达到任何高度)避免了由于封顶而导致的饱和。理论上对负值的轻微允许允许更好的梯度流,而不是像ReLU中那样的硬零边界,而且平滑的激活函数允许更好的信息深入神经网络,从而得到更好的准确性和泛化。
相关文章
相关标签/搜索