《统计学习方法》学习笔记（1）—— 统计学习三要素
本文主要参考书籍为《统计学习方法》（李辉），第一章 统计学习方法概论。算法
目录函数
1.1 统计学习学习
1.3.2 策略spa
1.3.2.1 损失函数（loss function）/ 代价函数（cost function）3d
1.3.2.2 风险函数（risk function）/ 指望损失（expected loss）blog
1.3.2.3 经验风险（empirical risk）/ 经验损失（empirical loss）ci
1.1 统计学习
统计学习包括：监督学习；非监督学习；半监督学习；强化学习。
监督学习须要利用训练数据集，若是没有训练数据集，就不能采用监督学习的方法。
1.3 统计学习三要素——模型、策略、算法
1.3.1 模型——所要学习的条件几率分布或决策函数
模型的假设空间包含全部可能的条件几率分布或决策函数
1.3.2 策略
损失函数：度量模型一次预测的好坏
风险函数：度量平均意义下模型预测的好坏
1.3.2.1 损失函数（loss function）/ 代价函数（cost function）
用于度量输出的预测值f(X)与真实值Y之间的差距，经常使用的函数有：
| 0-1损失函数 | |
| 平方损失函数 | |
| 绝对损失函数 | |
| 对数损失函数 | |
损失函数值越小，模型越好。
1.3.2.2 风险函数（risk function）/ 指望损失（expected loss）
损失函数的指望是：
被称为风险函数或指望损失。其中P(X,Y)为输入输出随机变量X,Y的联合几率分布。
1.3.2.3 经验风险（empirical risk）/ 经验损失（empirical loss）
当N趋于无穷时，经验风险趋于指望风险。
1.3.2.4 经验风险最小化与结构风险最小化
虽然当N趋于无穷时，经验风险趋于指望风险，但现实中样本的大小经常有限，所以用经验风险对指望风险的预估经常不许确。因此经常须要对经验风险进行校订，矫正的方法为经验风险最小化与结构风险最小化。
1.3.2.4.1 经验风险最小化
经验风险最小化的策略认为，经验风险最小的模型就是最佳模型。即求解最优化问题：
其中极大似然估计就是这个策略中的一个例子（当模型是条件几率分布+损失函数是对数损失函数时，经验风险最小化等价于极大似然估计）。
样本容量小时，会产生过拟合现象。
1.3.2.4.2 结构风险最小化
是在经验风险最小化的基础上加上正则项。
J(f)表示的是模型的复杂度：模型f越复杂，J(f)越大。
结构风险小须要经验风险和模型复杂度同时小，所以一般在训练集和测试集身上都有较好的预测。
先验几率有正则化的做用。
1.3.3 算法
肯定了策略（经验风险最小化or结构风险最小化）以后，监督学习问题就变为了最优化问题，算法就是为了求解这个最优化问题。