判别式模型与生成式模型

目录

一．    简介    1

二．    对比    1

三．    两者所包含的算法    2

3.1    生成式模型    2

3.2    判别式模型    2

 

判别式模型 vs. 生成式模型

1. 简介

   生成式模型（generadtive model）会对的联合分布进行建模，而后经过贝叶斯公式求得条件几率（在x发生的条件下y发生的几率），

   最后选择使得取得最大的。

   判别式模型（discriminative model）则会对进行建模。

2. 对比

   下面简单比较下生成式模型的和判别式模型的优缺点。

   本质区别是建模对象不一样。

   1. 通常来讲，生成式模型都会对数据的分布作必定的假设，好比朴素贝叶斯会假设在给定的条件下各个特征之间是条件独立的 ：

      条件独立性：

      给定第三个事件，若是,则称是条件独立事件。

      若关于事件条件独立，则有如下一些理解：

      1. 事件的发生，使原本可能不独立的事件变得独立起来
      2. 事件的出现或发生，解开了的依赖关系
      3. 若关于条件独立，则

         证实：
         

   当数据知足这些假设时, 生成式模型一般须要较少的数据就能取得不错的效果, 可是当这些假设不成立时, 判别式模型会获得更好的效果.

   1. 生成式模型最终获得的错误率会比判别式模型高, 可是其须要更少的训练样本就可使错误率收敛
   2. 生成式模型更容易拟合, 好比在朴素贝叶斯中只须要计下数就能够, 而判别式模型一般都须要解决凸优化问题.
   3. 当添加新的类别时, 生成式模型不须要所有从新训练, 只须要计算新的类别的联合分布便可, 而判别式模型则须要所有从新训练.
   4. 生成式模型能够更好地利用无标签数据(好比DBN), 而判别式模型不能够.
   5. 生成式模型能够生成特征变量，由于生成式模型是对进行建模。而判别式模型不能够生成
   6. 生成模型支持无指导训练。
   7. 只有生成模型能检测异常值。因为生成模型彻底学习了全部的分布，因此它能够用来检测某个值是否异常：P(X)是否过小。

       

3. 两者所包含的算法

生成模型是模拟这个结果是如何产生的,而后算出产生各个结果的几率

判别模型是发现各个结果之间的不一样,不关心产生结果的过程

1. 生成式模型
   1. 朴素贝叶斯
   2. K紧邻（KNN）
   3. 混合高斯模型
   4. 隐马尔科夫模型（HMM）
   5. 贝叶斯网络
   6. Sigmoid Belief Networks
   7. 马尔科夫随机场（Markov Random Fields）
   8. 深度信念网络（DBN）
2. 判别式模型
   1. 线性回归（Linear Regression）
   2. 逻辑斯蒂回归（Logistic Regression）
   3. 神经网络（NN）
   4. 支持向量机（SVM）
   5. 高斯过程（Gaussian Process）
   6. 条件随机场（CRF）
   7. CART(Classification and Regression Tree)