数值优化（Numerical Optimization）学习系列-惩罚和增广拉格朗日方法（Augmented Lagrangian Methods）

概述 求解带约束的最优化问题，一类很重要的方法就是将约束添加到目标函数中，从而转换为一系列子问题进行求解，最终逼近最优解。关键问题是如何将约束进行转换。本节主要介绍 1. 二次惩罚方法 2. 非平滑惩罚方法 3. 增广拉格朗日方法web 二次惩罚方法 动机 带约束问题若是转换为目标函数加上一个对约束的惩罚项，则问题转换为一个无约束问题。 转换后的问题能够经过惩罚项的系数进行控制，一个比较常见的惩罚

>>阅读原文<<