《动手学深度学习Pytorch版》Task7-优化算法进阶；word2vec；词嵌入进阶

优化算法进阶 ill-conditioned 海森矩阵(Hessian Matrix)是一个多元函数的二阶偏导数构成的方阵，当海森矩阵的特征值中 最大最小的比值很大时，就称之为ill-conditioned。梯度下降时，这种情况会使得不同参数收敛速度差异很大，不容易收敛。 下图就是 f ( x ) = 0.1 x 1 2 + 2 x 2 2 f(x)=0.1x_1^2+2x_2^2 f(x)=0

>>阅读原文<<