生成模型与判别模型

概念

监督学习方法能够分为生成方法(generative approach)和判别方法(discriminative approach),学习到的模型对应地可分为生成模型(generative model)和判别模型(discriminative model).生成模型的计算过程为，先根据既有数据学习出联合几率分布\(P(X,Y)\),而后再根据输入特征的分布\(P(X)\)来学习出条件几率分布，表达式为：

\[P(Y|X) = \frac{P(X,Y)}{P(X)} \tag{1} \]

而判别模型则是求出决策函数以后，根据决策函数输出对应的结果，也可直接学习出条件几率分布来预测，可是，判别模型不会去学习数据的联合几率分布.

\[Y = f(X) \tag{2} \]

特色

生成模型描述了给定输入\(X\)产生输出\(Y\)的生成关系，特色：

• 能够还原出数据的联合几率分布
• 学习收敛速度比较快，即在样本容量增长的时候，模型能够更快地收敛于真实的模型
• 存在隐变量时，仍然能够用生成方法来学习

判别模型可以直接用决策函数或者条件几率分布来预测结果，可是不学习数据的联合几率分布，特色：

• 不能还原数据的联合几率分布
• 学习的准确率比较高
• 能对数据进行各类程度上的抽象，定义特征并使用特征，能够简化问题
• 存在隐变量时，不能使用判别模型

典型模型

生成模型：

• 朴素贝叶斯法
• 隐马尔可夫模型

判别模型：

• k近邻法
• 支持向量机
• 感知机
• 决策树
• 逻辑斯谛回归模型
• 最大熵模型
• 提高方法
• 条件随机场