神经网络中激活函数的真正意义

激活函数的意义是“让神经网络具备强大的拟合能力”。 Google Brain[10] 的这篇文章里基于RL对激活函数进行了搜索，包括很多一元函数和二元函数的组合：最终发现了一些表现最好的激活函数：在搜索过程中，他们发现表现比较好的激活函数都比较简单（由两个以内的单元组成）且由原始输入x组合成（即b(x, g(x))）。同时，它们都是光滑的（与ReLU不同），而且有些并不是单调的（比如表现最好的Sw

>>阅读原文<<