我与深度学习 - [Gradient Descent] - [梯度下降]

首先我们看一个代价函数： 这⾥ w 表⽰所有的⽹络中权重的集合，b 是所有的偏置，n 是训练输⼊数据的个数，a 是表⽰当输⼊为 x 时输出的向量，求和则是在总的训练输⼊ x 上进⾏的。我们把 C 称为⼆次代价函数；有时也被称为均⽅误差或者 MSE。 可以看到 C(w, b) 是⾮负的，因为求和公式中的每⼀项都是⾮负的。此外，代价函数 C(w, b) 的值相当⼩，即 C(w, b) ≈ 0，精确地说

>>阅读原文<<