从3类函数中理解机器学习

3类函数

• 凸函数

• 凹函数

• 其余类别函数

---

函数性质

• 凸函数：凸函数的任何极小值也是最小值。严格凸函数最多有一个最小值。
• 凹函数：凹函数的任何极大值也是最大值。严格凹函数最多有一个最大值。
• 非凹凸函数：有多个极大极小值，只有局部最优解

---

机器学习的任务

• 机器学习的任务能够理解成下图：从一堆输入，通过处理，获得想要的输出

• 这个机器学习任务流程，能够抽象成函数：y=f(x)，x为输入，y为理想的输出
• 因而乎，机器学习就能够看做是求函数y=f(x)的最优解了

---

损失函数（ loss）的引入

• 所谓的损失函数，就是用来衡量预测值和实际值之间的偏差
• 咱们的目标就是，找到使损失函数达到最小值时候的参数

---

过拟合和欠拟合问题

• 判断机器学习是否执行得好，有如下2个目标：

-- 使训练错误率尽量低（能够经过神经网络，函数逼近的方法）
-- 使训练错误率与测试错误率的差距尽量小（能够用正则化的方法）

• 欠拟合：训练错误率比较高
• 过拟合：测试错误率与训练错误率差距比较大

---

训练

• 咱们的目标是，找到使损失函数达到最小值时候的参数
• 此时，咱们能够对损失函数进行求导（导数也成为梯度），寻找极值，经常使用的方法有：随机梯度降低（SGD）
• 训练就是不断寻找使损失函数达到最小值时候的参数的过程，由于通常的函数具备多个局部最优解