神经网络之优化算法

先来回顾一下神经网络的经典结构，如下图所示： 一般神经网络分为：输入层，隐藏层，输出层。上图中的连线代表的是神经网络中的参数，参考下面的图： 常用的**函数有： 如果对上面的内容有疑惑的话，可以参考笔者的上一篇文章《谈谈对神经网络的理解 “谈谈对神经网络的理解”》，这里不再赘述。 好了，下面进入正题。 损失函数的概念 在讲优化算法之前，我们先要明确损失函数的概念，损失函数有很多种说法，中文也可以叫

>>阅读原文<<