梯度下降综述

原始论文 https://arxiv.org/pdf/1609.04747.pdf 前言 梯度下降算法现在变的越来越流行，但是对于使用者来说，它的优化过程变的越来越黑盒。本文我们介绍下不通梯度下降算法的习性，使得我们能够更好的使用它们。本人每次复习这篇论文，或多或少都有一些收获，基础学习扎实了，后面的使用才会得心应手。 简介 梯度下降算法，不管在机器学习，还是在神经网络中，都是很常见的优化算法。所

>>阅读原文<<