学习笔记—Optimization algorithms

这是这门课程第二周的内容。 当深度学习遇到大数据（样本量在十万级以上）时，我们之前的常规操作在这时可能会变得很笨重。 1. Mini-batch gradient descent 之前在模型训练过程时，每一轮迭代都需要遍历整个训练集样本，当样本集非常大时，这样的每一轮都将经历漫长的时间。为了应对这一难题，有人提出了Mini-batch gradient descent，与之对应的是batch gr

>>阅读原文<<