神经网络中激活函数的真正意义

激活函数的意义是“让神经网络具有强大的拟合能力”。 Google Brain[10] 的这篇文章里基于RL对激活函数进行了搜索，包括不少一元函数和二元函数的组合：最终发现了一些表现最好的激活函数：在搜索过程当中，他们发现表现比较好的激活函数都比较简单（由两个之内的单元组成）且由原始输入x组合成（即b(x, g(x))）。同时，它们都是光滑的（与ReLU不一样），并且有些并非单调的（好比表现最好的S

>>阅读原文<<