生成模型与判别模型

监督学习的任务就是学习一个模型，应用这个模型，对给定的输入预测相应的输出。这个模型通常为决策函数：Y=f(X) 或 条件几率分布：P(Y|X)。

监督学习的学习方法能够分为生成方法（generative approach）和判别方法（discriminative approach）。所学到的模型分别叫生成模型和判别模型。

 

生成方法

定义

由数据学习联合几率分布P(X,Y), 而后由P(Y|X)=P(X|Y)*P(Y)/P(X)求出几率分布P(Y|X)。该方法表示了给定输入X产生输出Y的生成关系。

典型模型

朴素贝叶斯方法、隐马尔可夫模型

特色

生成方法能够还原出联合几率分P(X,Y),而判别方法不能；生成方法的学习收敛速度更快，当样本容量增长的时候，学到的模型能够更快的收敛于真实模型；当存在隐变量时，仍能够利用生成方法学习，此时判别方法不能用。

注释

当咱们找不到引发某一现象的缘由的时候，咱们就把这个在起做用，可是，没法肯定的因素，叫“隐变量”

 

判别方法

 定义

由数据直接学习决策函数Y=f(X)或条件几率分布P(Y|X)做为预测模型，即判别模型。判别方法关心的是对于给定的输入X，应该预测什么样的输出Y。

典型模型

k近邻法、感知机、决策树、逻辑斯谛回归模型、最大熵模型、支持向量机、提高方法、条件随机场

特色

判别方法直接学习的是决策函数Y=f(X)或条件几率分布P(Y|X)，直接面对预测，每每学习准确率更高；因为直接学习P(Y|X)或f(X)，能够对数据进行各类程度上的抽象、定义特征并使用特征，所以能够简化学习问题。