数学分析|最优化——梯度下降法、牛顿法、拟牛顿法等

1.最优化问题分类 按照约束条件分，可以分为：无约束优化问题、有不等式优化问题、有不等式优化问题。 按照是否线性，可以分为线性优化问题(目标函数和约束均线性)、非线性优化问题(目标函数和约束中任意部分非线性)。 按是否凸，可以分为凸优化问题、非凸优化问题。 对于有约束优化问题，常见的做法是转换到无约束问题上：对于只有等式约束的问题，通过拉格朗日乘子转换；对于有不等式约束的问题，通过KKT条件进行转

>>阅读原文<<