机器学习中的优化方法小结

来源｜福大命大@知乎，https://zhuanlan.zhihu.com/p/158215009

前几天听了林宙辰老师的一个报告，讲的是机器学习中的优化方法[1]，做个笔记。推荐机器学习的人去听听。林老师的主页：https://zhouchenlin.github.io/zhouchenlin.github.io

机器学习是离不开优化方法的，Pedro Domingos这样概括机器学习和优化方法的关系：

“Machine learning=Representation+Optimization+Evaluation”

后面三项对应于三步：建立模型，求解模型，验证模型。

一、机器学习中的优化问题

首先介绍一下机器学习中常见的优化问题：

1.分类回归问题

很多的分类回归问题都可以写成问题（1）的一个特例，比如SVM，正则的logistic回归，多层感知器，线性回归，岭回归，Lasso问题等。

2.AdaBoost

通常数据的分类面可能是很复杂的，我们可以通过多个简单的线性分类器组合而成。

3.生成对抗网络

4.AutoML

自动超参数的选取，这是一个双层优化问题。

4.AutoML

自动超参数的选取，这是一个双层优化问题。

4.AutoML

自动超参数的选取，这是一个双层优化问题。