TensorFlow 实现深度网络--基于梯度的优化

基于梯度的优化就是优化一个函数的最终取值。假设ω是函数的输入参数，J(ω）是需要优化的函数，那么基于梯度的优化指的就是改变ω以得到最小化或最大化的J(ω)（通常是最小化J(ω)，最大化可经由最小化算法最小化－J(ω)来实现）。 在具体的深度神经网络的设计中，通常ω泛指神经网络中的参数，J(ω） 表示训练数据集上的损失函数（ LossFunction ）。使用梯度下降优化网络的大概思路就是寻找一个参

>>阅读原文<<