PyTorch学习之 torch.optim 的6种优化器及优化算法介绍

内容转自Line_Walker的文章，链接https://blog.csdn.net/qq_36589234/article/details/89330342 记录到自己博客中，以便温故知新 这6种方法分为2大类：一大类方法是SGD及其改进（加Momentum）；另外一大类是Per-parameter adaptive learning rate methods（逐参数适应学习率方法），包括Ada

>>阅读原文<<