cs231n_激活函数

首先讲述的是激活函数的内容。 在上一个lecture中，我们看到了任意特定层是如何生成输出的，输入数据在全连接层或者卷积层，将输入乘以权重值，之后将结果放入一个激活函数（非线性单元）。 下面是一些激活函数的例子，有在之前使用过的sigmoid函数，之前提及到的ReLU函数。这里会提及更多的激活函数，并在它们之间进行权衡。 先是之前见过的sigmoid函数，这个函数的表达式是 。每一个元素输入到si

>>阅读原文<<