【傻瓜攻略】深度学习之优化算法中(十)

上一篇博客中途去介绍了一下海森矩阵,牛顿法什么的,为了这一章打基础。 好吧,继续上上一篇博客的优化算法介绍: 1.7  Adadelta算法 论文 《ADADELTA: An Adaptive Learning Rate Method 》 为了解决adagrad算法自身所携带的分母随着迭代次数增加,越来越大,梯度趋向于0,提前结束训练的问题。提出了adadelta算法。该算法只使用了累加项中离当前
相关文章
相关标签/搜索