梯度下降法(steepest descent)和共轭梯度法(conjugate gradient)

这是一篇自己的理解，不是严格意义上的证明，事实上很多熟悉的公式和推导方式都没有摆上来。推导的过程和方式也没有参考课本，这可能和个人习惯有关系，以前看别人著作时，很怕那种“显而易见”地描述，因为对作者而言显而易见的地方，对读者可能不是。对读者显而易见的地方，作者可能不这么认为。我一直的想法是，如果条件鲁棒，不论你从哪个角度去推导，比如说有的人喜欢展开推导（展开的形式也因人而异），有的更喜欢用向量表达

>>阅读原文<<