【机器学习的Tricks】随机权值平均优化器swa与pseudo-label伪标签

文章来自公众号【机器学习炼丹术】html 1 stochastic weight averaging（swa） 随机权值平均 这是一种全新的优化器，目前常见的有SGB，ADAM， 【概述】：这是一种经过梯度降低改善深度学习泛化能力的方法，并且不会要求额外的计算量，能够用到Pytorch的优化器中。python 随机权重平均和随机梯度降低SGD类似，因此我通常吧SWa当作SGD的进阶版本。web 1

>>阅读原文<<