7、与神经网络学习相关的参数（SGD、adam等）

1 参数的更新 四种方法：见图 01 随机梯度下降法：SGD 使用参数的梯度，沿着梯度方向更新参数，并且重复这个步骤多次，从而逐渐靠近最优参数，这个过程称为随机梯度下降法   # 源代码 class SGD：     def _init_(self,lr=0.01):         self.lr=lr                  def update(self,params,grad

>>阅读原文<<