深度学习的57个名词

一、激活函数（Activation Function） 为了让神经网络能够学习复杂的决策边界（decision boundary），我们在其一些层应用一个非线性激活函数。常用的函数有sigmoid、tanh、ReLU（Rectified Linear Unit 线性修正单元）和以及这些函数的变体。 二、Adadelta Adadelta 是基于梯度下降的学习算法，可以随时间调整每个参数的学习率，它

>>阅读原文<<