Pytorch第四天

任务：PyTorch理解更多神经网络优化方法，了解不同优化器，书写优化器代码Momentum，二维优化，随机梯度下降法进行优化实现Ada自适应梯度调节法，RMSProp，Adam ，PyTorch种优化器选择 作业：参考https://blog.csdn.net/u010089444/article/details/76725843 SGD方法的一个缺点是其更新方向完全依赖于当前batch计算出的

>>阅读原文<<