梯度降低与优化

文章目录 1. 梯度降低简介 2. 几种数据集训练方式 2.1 批量梯度降低法 BGD 2.2 随机梯度降低法 SGD 2.3 小批量梯度降低法 MBGD 3. 传统梯度优化的不足 4. 对传统梯度降低的优化 4.1 动量算法 4.2 自适应算法 4.2.1 AdaGrad 4.2.2 RMSProps 4.2.3 Adam 4.3 有约束最优化 4.3.1 等式约束最优化 4.3.2 不等式最优

>>阅读原文<<