深度学习笔记六：常见激活函数总结

一.激活函数概览 基本上,入门深度学习的第一件事情就是了解”神经元”的构造,激活函数算是最基本的一个”部件”了吧.那激活函数到底有什么用呢?为什么需要激活函数?激活函数的定义是什么呢? 下面这篇论文提供了激活函数的定义以及常见的”饱和”的定义,以及对于激活函数的一些思考.大家可以参考一下. Noisy Activation Functions 引用这篇论文的定义:激活函数就是映射,且函数几乎处处可

>>阅读原文<<