机器学习入门笔记1：梯度下降法

梯度是一个向量，表示某一函数在该点处的方向导数沿着该方向取得最大值，大小为方向导数最大值，方向为函数增长最快方向。 假设一个函数 的极值点，就是它的导数为零的那个点。因此我们可以通过解方程 求得函数的极值点。 假设上图为函数图像，首先我们随便选择一个点开始，经过一次次迭代，不断根据我们定的步长更新x的值，最终到达最小值点，每次迭代都朝着梯度方向的反方向，梯度下降算法公式可表示为： 其中为函数在处的

>>阅读原文<<