pytorch学习笔记2--梯度下降的介绍

梯度下降 给定 y = x 2 ∗ s i n x y=x^2*sinx y=x2∗sinx它的导数： y ′ = 2 x s i n x + x 2 c o s x y'=2xsinx + x^2cosx y′=2xsinx+x2cosx则梯度下降对x进行更新： x ′ = x − l r ∗ Δ x x'=x-lr * \Delta x x′=x−lr∗Δx 噪声 exam

>>阅读原文<<