自学梯度下降1——传统梯度下降原理及数学推导

PS：本文只是自学笔记 一、引子               梯度下降法是最基本、最常用的优化方法之一，为了便于理解，常规性运用烂大街的例子——下山问题。         假设我们位于黄山的某个山腰处，山势连绵不绝，不知道怎么下山。于是决定走一步算一步，也就是每次沿着当前位置最陡峭最易下山的方向前进一小步，然后继续沿下一个位置最陡方向前进一小步。这样一步一步走下去，一直走到觉得我们已经到了山脚。这

>>阅读原文<<