【Optimizor】Pytorch 实现汇总

Optimizor 定义: f θ f_\theta fθ​表示模型 θ t \theta_t θt​ 表示模型在更新t次后的参数 y ^ = f θ ( x ) \hat{y} = f_\theta(x) y^​=fθ​(x) 表示模型预测值 J ( y ^ , y ∗ ) J(\hat{y},y^*) J(y^​,y∗) 表示真值 y ∗ y^* y∗ 与预测值 y ^ \hat{y} y^​

>>阅读原文<<