机器学习理论笔记（1）

线性模型和最小二乘法

Given input: XT=(X1,X2,…,Xp) $X^T=(X_1,X_2,\dots ,X_p)$
Predict output: Y $Y$
Via:

Y^=β0^∑j=1pXjβj^(1.1) $$\begin{array}{}\text{(1.1)}& \hat{Y}=\widehat{{\beta }_0}\underset{j=1}{\overset{p}{\sum }}{X}_j\widehat{{\beta }_j}\end{array}$$

β0^ $\widehat{{\beta }_0}$表示截断（intercept）or 偏差（bias）
为方便起见，我们让 X $X$中包含常量 1 $1$，那么就有

Y^=XTβ^(1.2) $$\begin{array}{}\text{(1.2)}& \hat{Y}=X^T\hat{\beta }\end{array}$$

对于输出输出对 (x,y) $(x,y)$的最小二乘方法是：

RSS(β)=∑i=1N(yi−xTiβ)2(1.3) $$\begin{array}{}\text{(1.3)}& RSS(\beta )=\underset{i=1}{\overset{N}{\sum }}(y_i-x_i^T\beta {)}^2\end{array}$$

那么求解次最小二乘问题的解是：

β^=(XTX)−1XTy(1.4) $$\begin{array}{}\text{(1.4)}& \hat{\beta }=(X^{T}X{)}^{-1}{X}^{T}y\end{array}$$

分类问题

参考图片中线性分类模型，我们规定两部分函数值（蓝色=0，橙色=1）。用线性回归模型来拟合，决策边界线是 xTβ^=0.5 $x^T\hat{\beta }=0.5$，把所有的点分成0,1两类，线的一侧为0，另一侧为1，由已知点极小化分类误差 RSS(β) $RSS(\beta )$可以得到唯一一条直线，然后对整个空间进行分类。 这种回归分类方法简单但是适应性差。