梯度下降优化算法

随机性（方差）->噪声->波动大小 传统方法 https://www.jiqizhixin.com/articles/2016-11-21-4 batch批训练—不同的更新梯度的方式 batch梯度下降分为三种:batch梯度下降、随机化batch梯度下降、mini-batch梯度下降 1.batch 遍历全部数据集算一次损失函数，然后算函数对各个参数的梯度，更新梯度。这种方法每更新一次参数都要把

>>阅读原文<<