取代学习率衰减的新方法:谷歌大脑提出增加Batch Size

谷歌大脑在最新的一篇论文中提出,通过增加训练过程中的 batch size,能够在训练集和测试集上取得类似学习率衰减的表现。此外这种方法还有一系列的优势:参数更新数量更少、更强大的并行、更短的训练时间等等。机器之心对此论文做了摘要介绍,更详细的内容请阅读原论文。 论文链接:https://arxiv.org/abs/1711.00489 摘要:学习率衰减是一种常见的方法。在这篇论文中,我们展示了通
相关文章
相关标签/搜索