李宏毅机器学习笔记（3）—Gradient Descent

Gradient Descent 的技巧 下图是对偏微分的书写形式的补充说明，可以用倒三角来表示偏微分组成的向量，也就是梯度。所以下图左侧的式子可以写成下图右侧的式子。这种使用某一字符代表向量的写法可以大大简化书写，倒三角表示偏微分向量也能够简化书写。 Tip 1: Tuning your learning rates 第一个技巧也就是改变 learning rates 的速率。可以预见的是过小的

>>阅读原文<<