经常使用优化算法

先定义什么是优化，优化是求损失最小值状况下的参数。这里的调参不包括超参数，超参数怎么调能够参考。

1.梯度降低算法

小批量随机梯度降低（mini-batch stochastic gradient descent）在深度学习中被普遍使用。

它的算法很简单：

　　先选取一组模型参数的初始值，如随机选取；

　　接下来对参数进行屡次迭代，使每次迭代均可能下降损失函数的值。

　　在每次迭代中，先随机均匀采样一个由固定数目训练数据样本所组成的小批量（mini-batch）B，

　　而后求小批量中数据样本的平均损失模型，参数的导数（梯度），

　　最后用此结果与预设的一个正数的乘积，做为模型参数在本次迭代的减少量。

 

2.

3.牛顿法

 

 

 

参考：

https://trickygo.github.io/Dive-into-DL-TensorFlow2.0/#/chapter03_DL-basics/3.1_linear-regression?id=_3121-%e7%a5%9e%e7%bb%8f%e7%bd%91%e7%bb%9c%e5%9b%be