机器学习5-梯度下降

目的：找出最优解 方法：梯度下降法 需要注意的内容： 1、学习率的选择 学习率过小会使得在迭代更新权值的过程中，梯度下降过程缓慢。设置过大容易使得训练模型跨过最优值，从而导致过拟合。 2、自适应学习率的调节 开始时，离目标值很大可以设置较大的学习率，然后逐渐的减少学习率。 不同的参数应该设置不同的学习率，以达到最好的效果。（因材施教） 自适应梯度调节 总结 g:梯度；η：学习率 梯度越大，离远点越

>>阅读原文<<