深度学习部分概念解析 - 1

1.优化方法介绍 这里说的优化问题指的是，给定目标函数f(x)，我们需要找到一组参数x，使得f(x)的值最小。 SGD SGD是stochastic gradient descent的简称，即随机梯度下降。此外还有BGD，B指的是batch，意思为批量梯度下降。对于训练数据集，我们先将其分为n个batch，每个batch包含m个样本， x t+1=x t+Δx t Δx t=−ηg t 其中，η为

>>阅读原文<<