[转] 拉格朗日乘数法

时间 2019-11-24

标签拉格朗日乘数繁體版

原文原文链接

在数学最优化问题中，拉格朗日乘数法（以数学家约瑟夫·路易斯·拉格朗日命名）是一种寻找变量受一个或多个条件所限制的多元函数的极值的方法。这种方法将一个有n 个变量与k 个约束条件的最优化问题转换为一个有n + k个变量的方程组的极值问题，其变量不受任何约束。这种方法引入了一种新的标量未知数，即拉格朗日乘数：约束方程的梯度（gradient）的线性组合里每一个向量的系数。php

此方法的证实牵涉到偏微分，全微分或链法，从而找到能让设出的隐函数的微分为零的未知数的值。html

介绍

先看一个二维的例子：假设有函数：f(x,y)，要求其极值（最大值/最小值），且函数

$g\left( x,y \right) = c,$

c 为常数。对不一样 $d n 的值，不难想像出$ 优化

$f \left( x, y \right)=d_n$

的等高线。而方程 $f \left( x, y \right)=d_n$ spa

气象图中就很常出现这样的例子，当温度和睦压两列等高线同时出现的时候，切点就意味着约束极值的存在。htm

用向量的形式来表达的话，咱们说相切的性质在此意味着 $f 和 g 的斜率在某点上平行。此时引入一个未知标量 λ ，并求解：$ blog

$\nabla \Big[f \left(x, y \right) + \lambda \left(g \left(x, y \right) - c \right) \Big] = 0$

且λ ≠ 0.ip

一旦求出λ的值，将其套入下式，易求在无约束极值和极值所对应的点。get

$F \left( x , y \right)$ = $f \left( x , y \right) + \lambda \left( g \left( x , y \right) - c \right)$

新方程 $F (x, y)在达到极值时与 f (x, y)相等，由于 F (x, y)达到极值时 g (x, y) - c 总等于零。$ 数学

拉格朗日乘数的运用方法

如f定义为在Rⁿ上的方程，约束为g_k（x）= c_k（或将约束左移获得g_k(x) − c_k = 0）。定义拉格朗日Λ为

$\Lambda(\mathbf x, \boldsymbol \lambda) = f + \sum_k \lambda_k(g_k-c_k).$

注意极值的条件和约束如今就都被记录到一个式子里了：

$\nabla \Lambda = 0 \Leftrightarrow \nabla f = - \sum_k \lambda_k \nabla\ g_k,$

和

$\nabla_{\mathbf \lambda} \Lambda = 0 \Leftrightarrow g_k = c_k.$

拉格朗日乘数常被用做表达最大增加值。缘由是从式子：

$\frac{\partial \Lambda}{\partial {g_k}} = \lambda_k.$

中咱们能够看出λ_k是当方程在被约束条件下，可以达到的最大增加率。拉格朗日力学就使用到这个原理。

拉格朗日乘数法在Karush-Kuhn-Tucker最优化条件被推广。

例子

很简单的例子

求此方程的最大值：

f (x, y) = x 2 y

同时未知数知足

x 2 + y 2 = 1

由于只有一个未知数的限制条件，咱们只须要用一个乘数 $λ.$

g (x, y) = x 2 + y 2 - 1

Φ(x, y,λ) = f (x, y) + λ g (x, y) = x 2 y + λ(x 2 + y 2 - 1)

将全部 $Φ方程的偏微分设为零，获得一个方程组，最大值是如下方程组的解中的一个：$

2 x y + 2λ x = 0

x 2 + 2λ y = 0

x 2 + y 2 - 1 = 0

另外一个例子

求此离散分布的最大熵：

$f(p_1,p_2,\ldots,p_n) = -\sum_{k=1}^n p_k\log_2 p_k.$

全部几率的总和是1，所以咱们获得的约束是g（p）= 1即

$g(p_1,p_2,\ldots,p_n)=\sum_{k=1}^n p_k=1.$

可使用拉格朗日乘数找到最高熵（几率的函数）。对于全部的k 从1到n，要求

$\frac{\partial}{\partial p_k}(f+\lambda (g-1))=0,$

由此获得

$\frac{\partial}{\partial p_k}\left(-\sum_{k=1}^n p_k \log_2 p_k + \lambda (\sum_{k=1}^n p_k - 1) \right) = 0.$

计算出这n个等式的微分，咱们获得：

$-\left(\frac{1}{\ln 2}+\log_2 p_k \right) + \lambda = 0.$

这说明p_i都相等 (由于它们都只是λ的函数). 解出约束∑_k p_k = 1，获得

$p_k = \frac{1}{n}.$

所以，使用均匀分布可获得最大熵的值。

经济学

约束最优化在经济学占有很重要的地位。例如一个消费者的选择问题能够被视为一个求效用方程在预算约束下的最大值问题。拉格朗日乘数在经济学中被解释为影子价格，设定在某种约束下，在这里即收入的边际效用。

拉格朗日乘数就是效用函数在最优解出对收入的偏导数，也就是在最优解处增长一个单位收入带来的效用增长，或者说在最优解处有效用衡量收入的价值，称之为收入的边际效用。

在企业生产问题中，拉格朗日乘数用来衡量要素投入变更所带来的收入变更，du/dm=λ,u表示效用函数或生产函数，m表示收入或要素投入。

在具体数学推导中还能够运用包络定理的内容。

原文转自：http://www.cnblogs.com/yysblog/archive/2011/10/23/2221987.html