深度模型中的优化

1.随机梯度降低html 　　 　　　　保证SGD收敛的一个充分条件是算法 　　　　　　 　　　　线性衰减学习率直到第 τ 次迭代：函数 　　　　　　 　　　　　　其中 α =k/τ 。在 τ 步迭代以后，通常使 ϵ 保持常数post 　　　　　　一般 τ 被设为须要反复遍历训练集几百次的迭代次数。一般 ϵ τ 应设为大约 ϵ 0 的 1%。主要问题是如何设置 ϵ 0 。若 ϵ 0 太大，学习曲线

>>阅读原文<<