04 最优化方法

推荐书籍： 《最优化方法》 李元科 基本概念： 目标函数     无约束优化   约束优化   迭代下降法  1）图解法：  2）迭代下降法 导数是函数在一个点上变化率的描述 。 偏导数是函数在一点沿坐标方向的变化率 ，方向导数是函数在一点沿任意方向的变化率 ，梯度则是函数在一个点上变化率最大的方向导数 。 函数在一个点上沿任意方向的方向导数等于函数在该点的梯度在该方向上的投影 。 方向导数：  

>>阅读原文<<