深度学习--超参调试-正则化及优化2

优化算法： 优化算法可以帮助快速训练模型 mini batch 梯度下降：batch_size=1000,进行一次参数更新，5000次更新，1000*5000个训练样本 []神经网络层数，{t}第t个mini batch，（i）第i个样本 1 epoch，遍历一次训练集 一般需要多次遍历训练集； batch gradient descent 每次cost都下降，Mini-batch不一定，如下图

>>阅读原文<<