一文概览深度学习中的激活函数

本文从激活函数的背景知识开始介绍，重点讲解了不同类型的非线性激活函数：Sigmoid、Tanh、ReLU、LReLU、PReLU、Swish，并详细介绍了这些函数的优缺点。 本文介绍了多种激活函数，并且对比了激活函数的优劣。本文假设你对人工神经网络（AAN）有基本了解，如果没有，推荐先阅读机器之心介绍过的相关文章： 神经网络快速入门：什么是多层感知器和反向传播？ DNN 概述论文：详解前馈、卷积和

>>阅读原文<<