机器学习基础概念辨析

假设函数

hypothesis function
定义：
    假设函数能够看作是对于已知数据创建的初始模型。

目的：
    在监督学习中，为了拟合输入样本，而使用的假设函数，记为hθ(x) 。

损失函数

loss function

又称为偏差函数（error function）。

名称由来：
    损失或者偏差，能够理解为精度的损失或者与真实值的偏差，
    由于咱们拟合的函数不是100%精确的，而是一个大概的。
    不少机器学习场景，咱们也作不到百分之拟合。
    因此有了偏差的说法。

目的：
    为了评估模型拟合的好坏，一般用损失函数来度量拟合的程度。

代价函数

cost function
 
代价函数是对目标函数求解过程当中所付出的代价，
换句话说代价函数是用来求解目标函数的手段，代价函数有优化的花费。

 cost function 是对数据集总体的偏差描述，
 是选定参数 w 和 b 后对数据进行估计所要支付的代价（求解路径），
 cost 是对全部数据的偏差取平均获得的。

目标函数

目标函数在假设函数和已知数据的之间创建的函数关系，

归一化

当有新数据加入时，可能致使max和min的变化，须要从新定义。

Min-Max

   x' = (x - X\_min) / (X\_max - X\_min)

平均归一化

   x' = (x - μ) / (MaxValue - MinValue)

非线性归一化

标准化

Z-score

标准差标准化 / 零均值标准化

x' = (x - μ)／σ

中心化

  x' = x - μ

特征缩放

特征缩放有时能提升算法的收敛速度，特征缩放是用来标准化数据特征的范围。

x′\=x−x¯ / σ

为何须要特征缩放？

一、可让梯度降低的路线不是那么曲折，（等高线的椭圆与圆形）

二、使得每一个特征的范围有可比性

哪些模型必须归一化/标准化？

特征工程中的「归一化」有什么做用？

特征缩放

归一化 （Normalization）、标准化 （Standardization）和中心化/零均值化 （Zero-centered）