李宏毅 机器学习笔记 Gradient Descent

  在给定的函数空间中求解最佳函数，本质上是一个最优化问题，即求损失函数最小值对应的参数，然后将参数对应得到最佳函数。一种方法是解析解，但在机器学习中更加常用的是利用梯度下降求最小值。   如果大家想更加深入的学习梯度下降的相关内容，建议大家学习paper，标题为An overview of gradient descent optimization algorithms，下载地址为 https:

>>阅读原文<<