机器学习理论笔记（3）

统计决策理论

squared error loss L2 $L_2$

Let X∈Rp,Y∈R $X\in {\mathbb{R}}^p,Y\in \mathbb{R}$
Joint distribution，联合分布: Pr(X,Y) $Pr(X,Y)$
我们希望找到一个函数 f(X) $f(X)$，对于给定的 X $X$来预测 Y $Y$。首先我们需要一个loss function 损失函数 L(Y,f(X)) $L(Y,f(X))$来惩罚预测误差。目前为止最常用最方便的损失函数是squared error loss:

L(Y,f(X))=(Y−f(X))2(3.1) $$\begin{array}{}\text{(3.1)}& L(Y,f(X))=(Y-f(X){)}^2\end{array}$$

标准型：

EPE(f)=E(Y−f(X))2=∫[y−f(x)]2Pr(dx,dy)(3)(4) $$\begin{array}{}\text{(3)}& EPE(f)& =E(Y-f(X){)}^2\text{(4)}& & =\int [y-f(x){]}^{2}Pr(dx,dy)\end{array}$$

在 X $X$条件下的条件预测误差：

EPE(f)=EXEY|X([Y−f(X)]2|X)(3.2) $$\begin{array}{}\text{(3.2)}& EPE(f)=E_X{E}_{Y|X}([Y-f(X){]}^2|X)\end{array}$$

这里期望表示积分，先固定 x $x$对 y $y$进行积分，然后再对 x $x$进行积分。
我们逐点最小化 EPE $EPE$，就可以得到：

f(x)=argmincEY|X([Y−c]2|X=x)(3.3) $$\begin{array}{}\text{(3.3)}& f(x)=argmi{n}_c{E}_{Y|X}([Y-c{]}^2|X=x)\end{array}$$

它的解是：

f(x)=E(Y|X=x)(3.4) $$\begin{array}{}\text{(3.4)}& f(x)=E(Y|X=x)\end{array}$$

所以这里在条件 X=x $X=x$的均值可以最好的预测 Y $Y$。最好的度量是平均平方误差。

可以认为期望就是一些取样点的平均，那么就有最近邻方法：

f^(x)=Ave(yi|xi∈Nk(x))(3.5) $$\begin{array}{}\text{(3.5)}& \hat{f}(x)=Ave(y_i|x_i\in N_k(x))\end{array}$$

现在再看线性回归拟合 线性回归拟合，显然它是 f(x) $f(x)$的一个线性近似

f(x)≈xTβ(3.6) $$\begin{array}{}\text{(3.6)}& f(x)\approx x^T\beta \end{array}$$

把此式子代入 EPE $EPE$就可以得到

β=[E(XXT)]−1E(XY)(3.7) $$\begin{array}{}\text{(3.7)}& \beta =[E(X{X}^T){]}^{-1}E(XY)\end{array}$$

最后我们是用数据的训练集来代入计算的。
我们可以得出结论：

• 最小二乘法是假设函数 f(X) $f(X)$近似于线性函数

• k $k$-最近邻方法是假设函数 f(x) $f(x)$近似于一个局部常值函
  现在我们假设：
  

  f(X)=∑j=1pfj(Xj)(3.8) $$\begin{array}{}\text{(3.8)}& f(X)=\underset{j=1}{\overset{p}{\sum }}{f}_j(X_j)\end{array}$$
  
  任意的 fj $f_j$的选择可以包含以上两种方法。

  绝对损失函数 L1 $L_1$

  损失函数 L1=E|Y−f(X)| $L_1=E|Y-f(X)|$，那么条件中值median
  

  f^(x)=median(Y|X=x)(3.9) $$\begin{array}{}\text{(3.9)}& \hat{f}(x)=median(Y|X=x)\end{array}$$

0-1损失函数 L $L$

假设output G $G$是一个分类变量categorical variable， G^ $\hat{G}$是 G $\mathcal{G}$中的一个估计值（一组可能的类），损失函数可以表示成一个 K×K $K\times K$矩阵 L $L$，这里 K=card(G) $K=card(\mathcal{G})$， G $\mathcal{G}$中类的个数。 L $L$是一个对角线为0，其他位置非负的矩阵， L(k,l) $L(k,l)$表示 Gl ${\mathcal{G}}_l$类观测分类到 Gk ${\mathcal{G}}_k$类所需的代价。（也就是说这种分类错误会导致损失函数增加多少。）这里可以把 G $G$看成前面的 Y $Y$， G^(X) $\hat{G}(X)$可以看成前面的 f(X) $f(X)$， g $g$相当于前面的 c $c$。那么，0-1损失函数的预测误差期望是：

EPE=E[L(G,G^(X))](3.10) $$\begin{array}{}\text{(3.10)}& EPE=E[L(G,\hat{G}(X))]\end{array}$$

写成添加联合分布的条件概率形式就是：

EPE=EX∑k=1KL[Gk,G^(X)]Pr(Gk|X)(3.11) $$\begin{array}{}\text{(3.11)}& EPE=E_X\underset{k=1}{\overset{K}{\sum }}L[{\mathcal{G}}_k,\hat{G}(X)]Pr(G_k|X)\end{array}$$

逐点极小化 EPE $EPE$就是

G^(x)=argming∈G∑k=1KL(Gk,g)Pr(Gk|X=x)(3.12) $$\begin{array}{}\text{(3.12)}& \hat{G}(x)=argmi{n}_{g\in \mathcal{G}}\underset{k=1}{\overset{K}{\sum }}L({\mathcal{G}}_k,g)Pr({\mathcal{G}}_k|X=x)\end{array}$$

用0-1损失函数这个简化这个模型，也就是说 g $g$等于某个 Gk0 ${\mathcal{G}}_{k_0}$，那么 L(Gk0,g)=0 $L({\mathcal{G}}_{k_0},g)=0$，对剩下的部分求和就得到下式：

G^(x)=argming∈G[1−Pr(Gk|X=x)](3.13) $$\begin{array}{}\text{(3.13)}& \hat{G}(x)=argmi{n}_{g\in \mathcal{G}}[1-Pr({\mathcal{G}}_k|X=x)]\end{array}$$

简单写就是

G^(x)=Gk if Pr(Gk|X=x)=maxg∈GPr(g|X=x)(3.14) $$\begin{array}{}\text{(3.14)}& \hat{G}(x)={\mathcal{G}}_k\text{ if }Pr({\mathcal{G}}_k|X=x)=\underset{g\in \mathcal{G}}{max}Pr(g|X=x)\end{array}$$

这就是 贝叶斯分类器Bayes classifier。