随机权值平均的原理解释

SWA 的工做原理。它只保存两个模型，而不是许多模型的集成：html 第一个模型保存模型权值的平均值（WSWA）。在训练结束后，它将是用于预测的最终模型。网络 第二个模型（W）将穿过权值空间，基于周期性学习率规划探索权重空间。post   SWA权重更新公式学习 在每一个学习率周期的末尾，第二个模型的当前权重将用来更新第一个模型的权重（公式如上）。所以，在训练阶段，只需训练一个模型，并在内存中储存

>>阅读原文<<