机器学习--回归篇--线性回归模型理论

 第一部分:导言

阅读本章节,需要一定的数理统计基础

第二部分:干货

1 模型前提

1)线性模型:y^{^{(i)}}=\theta ^{T}x^{^{(i)}}+\epsilon_{i}   (y^{^{(i)}}\approx \theta ^{T}x^{^{(i)}},截距\theta _{0}以包含在内)

注意:y^{^{(i)}}x^{^{(i)}}\epsilon_{i}均为随机变量,\theta为系数,且\epsilon_{i}满足独立同分布

2)\epsilon_{i}\sim N(0,\sigma ^{2})

3)极大似然原理:假设一场试验中,发生A结果,并未发生B结果或者其他结果,那么说明该试验对A有利,进而数学上可以表达为p(A)=p(A|\theta ^{'}),其中\theta ^{'}为有利于A的条件

2 建立模型

注意:X是m行n列矩阵,\theta是n维向量,Y是m维向量

3 模型问题

\theta =(X^{T}X)^{-1}X^{T}Y,要求X^{T}X可逆,如何解决该问题 下篇讲解

4 该模型所引发的思考 也在下篇讲解