机器学习是这样一门学科，它致力于研究如何经过计算的手段，利用经验来改变系统自身的性能。在计算机系统中，“经验”一般以“数据” 的形式存在。所以，机器学习所研究的主要内容，是关于在计算机上从数据中产生“模型”的算法，即“学习算法”（learning algorithm）。web
属性或特征张成的空间称为“属性空间”，“样本空间”或“输入空间”。算法
学习到的模型适用于新样本的能力。具备强泛化能力的模型能很好的适用于整个样本空间，一般训练集只是样本空间的一个很小的采样。机器学习
概括（induction）与演绎（deduction）是科学推理的两大基本手段。前者是从特殊到通常的“泛化”（generalization）过程，即从具体的事实归结出通常性规律；后者则是从通常到特殊的“特化”（specialization）过程，即从基础原理推演出具体状况。例如，在数学公理系统中，基于一组公理和推理规则推导出与之相洽的定理，这是演绎；而“从样例中学习”显然是一个概括的过程，所以也称“概括学习”（inductive learning）。svg
机器学习算法在学习过程当中对某种类型假设的偏好，称为“概括偏好”（inductive bias），或简称为“偏好”。
任何一个有效的机器学习算法必有其概括偏好，不然它将被假设空间中看似在训练集上“等效”的假设所迷惑，而没法产生正确的结果。
事实上，概括偏好对应了学习算法自己所作出的关于“什么样的模型更好”的假设。在具体的现实问题中，这个假设是否成立，即算法的概括偏好是否与问题自己匹配，大多数时候直接决定了算法可否取得好的性能。性能