梯度下降与优化

文章目录 1. 梯度下降简介 2. 几种数据集训练方式 2.1 批量梯度下降法 BGD 2.2 随机梯度下降法 SGD 2.3 小批量梯度下降法 MBGD 3. 传统梯度优化的不足 4. 对传统梯度下降的优化 4.1 动量算法 4.2 自适应算法 4.2.1 AdaGrad 4.2.2 RMSProps 4.2.3 Adam 4.3 有约束最优化 4.3.1 等式约束最优化 4.3.2 不等式最优

>>阅读原文<<