机器学习中的数学之拉格朗日乘子法

首先需要明确的是拉格朗日乘子法是一种凸优化算法，所以目标函数是一个凸函数，约束条件也是一个凸函数。 1.带有等式约束的最小值问题       （这是约束条件） 求   的极小值. 目标函数在三维空间中是一个倒立的圆锥。约束条件是一个双曲线在z轴上无限拉伸形成的一个面。为了方便我们把两个图像投影到二维平面上形成一个等高先图。如下 很容易想到极小值点是在两个面的交点集合之中。 约束面与目标函数相交，相

>>阅读原文<<