李宏毅机器学习——学习笔记（3）

1. 训练出来的函数和实际目标函数直接的差别，取决于bias和variance，如图所示，
2. 其中通过不同的取样，可以训练得到不同的预测函数，即f*，而模型越复杂，varience越大，bias则越小，如下图所示：
   
   
3. 当模型较为简单时，模型的bias error比较大，容易早场Underfitting，而当模型复杂的时候，模型的variance error比较大，容易造成overfitting，模型的效果随着模型的复杂程度增加，呈现一个先降后升的态势
   
4. 当bias或者variance较大的时候，应该怎么处理？

• bias较大的时候，增加更多的特征输入或者设计一个更为复杂的模型可以防止使模型更好的fit样本
  * 如果模型的variance error比较大的时候，可以收集更多的data（实际生活中可能难以实现），或者进行regularization （如果权重过大，可能会使模型变得简单，而使模型的bias error过大）。

注意：如果不要用test data的误差值去选择你的model，这样选出来的model在实际运用中，可能不能达到比较好的结果。可以使用cross validation 或者 N-fold Cross Validation的方式进行验证。