吴恩达机器学习 笔记四 正则化

  正则化这个问题是比较好理解的。

1. 理解机器学习的目标

• 机器学习的目标是应用，拟合或分类训练数据只是一个学习的过程。
• 我们的目标是训练得到的模型在应用的过程中能够比较好的泛化，所以在训练的过程中，我们需要追求一个中庸的状态，这可能不单单是机器学习的问题，而是一个比较普遍的道理。
• 中庸就意味着差不多，意味着既不要过于精确，也不要误差过大。

  图中最左侧为欠拟合，即误差过大。最右侧为过拟合，即过于精确。中间为我们所追求的中庸的状态。

2. 解决过拟合问题

  欠拟合问题是比较好解决的，如上图中，原因明显是用于拟合的多项式阶次不够。着重谈一谈过拟合的问题，解决过拟合的方法是正则化，即对导致拟合过于精确的参数 θj ${\theta }_j$赋予一个较大的惩罚权重，这样在最小化代价函数的过程中，参数 θj ${\theta }_j$将会变得较小，使得拟合过程变得中庸起来。

• 正则化线性回归，代价函数表达式
  

  J(θ)=12m[∑i=1m(hθ(x(i))−y(i))2+λ∑j=1nθ2j] $$J(\theta )=\frac{1}{2m}[\underset{i=1}{\overset{m}{\sum }}(h_{\theta }(x^{(i)})-y^{(i)}{)}^2+\lambda \underset{j=1}{\overset{n}{\sum }}{\theta }_j^2]$$
  其中， λ $\lambda$称为正则化参数。

• 正则化logistic回归，代价函数表达式
  

  J(θ)=1m∑i=1m(−y(i)log(hθ⃗ (x⃗ (i)))−(1−y(i))log(1−hθ⃗ (x⃗ (i))))+λ2m∑j=1nθ2j $$J(\theta )=\frac{1}{m}\underset{i=1}{\overset{m}{\sum }}(-y^{(i)}log(h_{\stackrel{\to }{\theta }}({\stackrel{\to }{x}}^{(i)}))-(1-y^{(i)})log(1-h_{\stackrel{\to }{\theta }}({\stackrel{\to }{x}}^{(i)})))+\frac{\lambda }{2m}\underset{j=1}{\overset{n}{\sum }}{\theta }_j^2$$