约束优化方法之拉格朗日乘子法与KKT条件

引言

本篇文章将详解带有约束条件的最优化问题，约束条件分为等式约束与不等式约束，对于等式约束的优化问题，能够直接应用拉格朗日乘子法去求取最优值；对于含有不等式约束的优化问题，能够转化为在知足 KKT 约束条件下应用拉格朗日乘子法求解。拉格朗日求得的并不必定是最优解，只有在凸优化的状况下，才能保证获得的是最优解，因此本文称拉格朗日乘子法获得的为可行解，其实就是局部极小值，接下来从无约束优化开始一一讲解。

无约束优化

首先考虑一个不带任何约束的优化问题，对于变量 $ x \in \mathbb{R}^N $ 的函数 $f(x)$ ,无约束优化问题以下:

\[\min_x  f(x) \]

该问题很好解，根据 Fermat 定理，直接找到使目标函数得 0 的点便可 即 $\nabla_xf(x) = 0$ ，若是没有解析解的话，可使用梯度降低或牛顿方法等迭代的手段来使 $x$ 沿负梯度方向逐步逼近极小值点。

等式约束优化

当目标函数加上约束条件以后，问题就变成以下形式：

\begin{aligned}
&\min_{x } \  f(x)  \\
&s.t.  \ \ \ h_i(x) = 0 , i = 1,2,...,m \\
\end{aligned}

约束条件会将解的范围限定在一个可行域，此时不必定能找到使得 $\nabla_xf(x)$ 为 0 的点，只需找到在可行域内使得 $f(x)$ 最小的值便可，经常使用的方法即为拉格朗日乘子法，该方法首先引入 Lagrange Multiplier $\alpha \in \mathbb{R}^m$ ，构建 Lagrangian 以下：

\[L(x,\alpha) = f(x) + \sum_{i=1}^m \alpha_i h_i(x)\]

求解方法以下：首先对 Lagrangian  关于 $\alpha$ 与 $x$ 求 ：

\[\left \{
\begin{aligned}
\nabla_x L(x,\alpha)= 0  \\
\nabla_{ \alpha } L(x,\alpha)= 0
\end{aligned} \right.\]

令导数为 0 ，求得 $x$ 、$\alpha$  的值后，将 $x$ 带入 $f(x)$ 即为在约束条件 $h_i(x)$ 下的可行解。这样作的意义是什么呢? 接下来看一个直观的示例，对于二维状况下的目标函数是 $f(x, y)$，在平面中画出 $f(x, y)$ 的等高线，以下图的虚线所示， 并只给出一个约束等式 $h(x,y) = 0$ ，以下图的绿线所示，目标函数 $f(x,y)$ 与约束 $g(x,y)$ 只有三种状况，相交、相切或者没有交集，没交集确定不是解,只有相交或者相切多是解，但相交获得的必定不是最优值，由于相交意味着确定还存在其它的等高线在该条等高线的内部或者外部，使得新的等高线与目标函数的交点的值更大或者更小，这就意味着只有等高线与目标函数的曲线相切的时候，才可能获得可行解.

所以给出结论：拉格朗日乘子法取得极值的必要条件是目标函数与约束函数相切，这时二者的法向量是平行的，即

\[ \nabla _xf(x) – \alpha \nabla_xh(x) = 0\]

因此只要知足上述等式，且知足以前的约束 $h_i(x) = 0 , i = 1,2,…,m$ ，便可获得解，联立起来，正好获得就是拉格朗日乘子法。这里只是直观展现了一下拉格朗日乘子法的几何推导 ，并无给出详细的证实。

不等式约束优化

当约束加上不等式以后，状况变得更加复杂，首先来看一个简单的状况，给定以下不等式约束问题：

\begin{aligned}
&\min_x \ f(x) \\
& \ s.t. \ \  g(x) \le 0
\end{aligned}

对应的 Lagrangian 与图形分别以下所示：

\[L(x, \lambda) = f(x) + \lambda g(x)\]

这时的可行解必须落在约束区域 $g(x)$ 以内，下图给出了目标函数的等高线与约束：

由图可见可行解 $x$ 只能在 $g(x) < 0$ 或者 $g(x) = 0$  的区域里取得：

• 当可行解 $x$ 落在 $g(x) < 0$ 的区域内，此时直接极小化 $f(x)$ 便可；
• 当可行解 $x$ 落在 $g(x) = 0$ 即边界上，此时等价于等式约束优化问题.

当约束区域包含目标函数原有的的可行解时，此时加上约束可行解扔落在约束区域内部，对应 $g(x) < 0$ 的状况，这时约束条件不起做用；当约束区域不包含目标函数原有的可行解时，此时加上约束后可行解落在边界 $g(x) = 0$ 上。下图分别描述了两种状况，右图表示加上约束可行解会落在约束区域的边界上。

以上两种状况就是说，要么可行解落在约束边界上即得 $g(x) = 0$ ，要么可行解落在约束区域内部，此时约束不起做用，另 $\lambda = 0$ 消去约束便可，因此不管哪一种状况都会获得：

\[\lambda g(x) = 0\]

还有一个问题是 $\lambda$ 的取值，在等式约束优化中，约束函数与目标函数的梯度只要知足平行便可，而在不等式约束中则否则，若 $\lambda \ne 0$，这便说明 可行解 $x$ 是落在约束区域的边界上的，这时可行解应尽可能靠近无约束时的解，因此在约束边界上，目标函数的负梯度方向应该远离约束区域朝向无约束时的解，此时正好可得约束函数的梯度方向与目标函数的负梯度方向应相同：

\[ -\nabla_x f(x) = \lambda  \nabla_xg(x) \]

上式须要知足的要求是拉格朗日乘子 $\lambda > 0$ ，这个问题能够举一个形象的例子，假设你去登山，目标是山顶，但有一个障碍挡住了通向山顶的路，因此只能沿着障碍爬到尽量靠近山顶的位置，而后望着山顶叹叹气，这里山顶即是目标函数的可行解，障碍即是约束函数的边界，此时的梯度方向必定是指向山顶的，与障碍的梯度同向，下图描述了这种状况 :

可见对于不等式约束，只要知足必定的条件，依然可使用拉格朗日乘子法解决，这里的条件即是 KKT 条件。接下来给出形式化的 KKT 条件 首先给出形式化的不等式约束优化问题：

\begin{aligned}
&\min_x \  f(x)  \\
&s.t.  \ \ \ h_i(x) = 0 , \  i = 1,2,...,m \ \\
& \ \ \ \ \ \ \ \ \ \   g_j(x) \le 0, \  j = 1,2,...,n
\end{aligned}

列出 Lagrangian 获得无约束优化问题：

\[ L(x,\alpha,\beta) =f(x) + \sum_{i=1}^m \alpha_i h_i(x) + \sum_{j=1}^n\beta_ig_i(x) \]

通过以前的分析，便得知加上不等式约束后可行解 $x$ 须要知足的就是如下的 KKT 条件：

\begin{align}
\nabla_x L(x,\alpha,\beta) &= 0   \\
\beta_jg_j(x) &= 0  , \ j=1,2,...,n\\
h_i(x)&= 0 , \ i=1,2,...,m  \\
g_j(x) &\le 0  , \  j=1,2,...,n  \\
\beta_j &\ge  0 , \ j=1,2,...,n  \\
\end{align}

知足 KKT 条件后极小化 Lagrangian 便可获得在不等式约束条件下的可行解。 KKT 条件看起来不少，其实很好理解:

(1) ：拉格朗日取得可行解的必要条件；

(2) ：这就是以上分析的一个比较有意思的约束，称做松弛互补条件；

(3) $\sim$ (4) ：初始的约束条件；

(5) ：不等式约束的 Lagrange Multiplier 需知足的条件。

主要的KKT条件即是 (3) 和 (5) ，只要知足这俩个条件即可直接用拉格朗日乘子法， SVM 中的支持向量即是来自于此，须要注意的是 KKT 条件与对偶问题也有很大的联系，下一篇文章就是拉格朗日对偶。

 

参考文献：

1. 书：PRML | 《机器学习方法》-李航 |《机器学习》-周志华

2. http://blog.csdn.net/xianlingmao/article/details/7919597

3. http://blog.csdn.net/timingspace/article/details/50966105

4. http://blog.csdn.net/loadstar_kun/article/details/25369017

5. http://blog.csdn.net/johnnyconstantine/article/details/46335763

6. http://www.csc.kth.se/utbildning/kth/kurser/DD3364/Lectures/KKT.pdf nice PPT

    http://www.csc.kth.se/utbildning/kth/kurser/DD3364/Lectures/Duality.pdf

7. http://www.cnblogs.com/jerrylead/archive/2011/03/13/1982684.html