生成模型和判别模型

2024年6月10日 163次阅读

假设你现在有一个分类问题，x是特征，y是类标记。

用生成模型学习一个联合概率分布P（x，y），
而用判别模型学习一个条件概率分布P（y | x）。

生成模型，就是生成（数据的分布）的模型；
判别模型，就是判别（数据的label）的模型；

生成模型的处理过程会告诉你关于数据的一些统计信息（p(x | y) 分布等），如朴素贝叶斯可计算出，p(癌症, 肥胖 ) = x%，模型生成了一个分布给你，即使你没用到该分布数据，而只用到 p(癌症, 肥胖 ) = x% 对应的最终的判别（label）

判别模型则是通过一系列处理得到结果，这个结果可能是概率最大的类，或是其他。如决策树很多属性都是有分支的，明显是一种判别（是这种或是另外一种）；

在实际分类问题中：
判别模型可以直接用来判断特征的类别情况，
而生成模型需要加上贝叶斯法则，然后应用到分类中。

生成模型
优点：
  1. 实际上带的信息要比判别模型丰富
  2. 生成模型收敛速度比较快，即当样本数量较多时，生成模型能更快地收敛于真实模型。
  3. 能用于数据不完整的情况，能够应付存在隐变量的情况
缺点：
  1. 提供更多的信息 –> 因此需要更多的样本和更多计算
  2. 多数情况下分类效果不如判别模型
主要算法：

朴素贝叶斯算法、隐马尔可夫模型（EM算法）

判别模型
优点：
  1. 节省计算资源，需要的样本数量也少于生成模型。
  2. 准确率往往较生成模型高，适用于较多类别的识别。
  3. 允许对输入进行抽象（降维、构造等），能够简化学习问题。
缺点：
  1. 不能反映训练数据本身的特性
  2. 不能应付存在隐变量的情况
主要算法：

k近邻法、逻辑回归模型、决策树、支持向量机

点赞