Machine Learning系列--判别式模型与生成式模型

监督学习的任务就是学习一个模型，应用这一模型，对给定的输入预测相应的输出。这个模型的通常形式为决策函数：
$$ Y=f(X) $$
或者条件几率分布：
$$ P(Y|X) $$
监督学习方法又能够分为生成方法（generative approach）和判别方法（discriminative approach）。所学到的模型分别称为生成模型（generative model）和判别模型（discriminative model）。

生成方法由数据学习联合几率分布P(X,Y)，而后求出条件几率分布P(Y|X)做为预测的模型，即生成模型：
$$ P\left( {Y|X} \right) = \frac{{P\left( {X,Y} \right)}}{{P\left( X \right)}} $$
这样的方法之因此称为生成方法，是由于模型表示了给定输入$X$产生输出$Y$的生成关系。典型的生成模型有：朴素贝叶斯法和隐马尔可夫模型.

判别方法由数据直接学习决策函数$f(X)$或者条件几率分布$P(Y|X)$做为预测的模型，即判别模型。判别方法关心的是对给定的输入$X$，应该预测什么样的输出$Y$。典型的判别模型包括：$k$近邻法、感知机、决策树、逻辑斯谛回归模型、最大熵模型、支持向量机、提高方法和条件随机场等.

在监督学习中，生成方法和判别方法各有优缺点，适合于不一样条件下的学习问题。

• 生成方法的特色：生成方法能够还原出联合几率分布$P(X,Y)$，而判别方法则不能；生成方法的学习收敛速度更快，即当样本容量增长的时候，学到的模型能够更快地收敛于真实模型；当存在隐变量时，仍能够用生成方法学习，此时判别方法就不能用。
• 判别方法的特色：判别方法直接学习的是条件几率$P(Y|X)$或决策函数$f(X)$，直接面对预测，每每学习的准确率更高；因为直接学习$P(Y|X)$或$f(X)$，能够对数据进行各类程度上的抽象、定义特征并使用特征，所以能够简化学习问题。

 

参考资料：

1.  李航. 《统计学习方法》