贝叶斯推理

贝叶斯法则

朴素贝叶斯分类器

应用：文本分类

1. 贝叶斯推理

–提供了推理的一种概率手段

–两个基本假设：

（1）待考察的量遵循某概率分布

（2）可根据这些概率以及观察到的数据进行推理，以作作出最优的决策

–贝叶斯推理对机器学习十分重要：

        为衡量多个假设的置信度提供了定量的方法

        为直接操作概率的学习算法提供了基础

        为其他算法的分析提供了理论框架

–机器学习的任务：在给定训练数据D时，确定假设空间H中的最佳假设

        最佳假设： 在给定数据D以及H中不同假设的先验概率的有关知识下的最可能假设

–概率学习系统的一般框架

2. 贝叶斯法则

2.1 基本术语

D ：训练数据；

H : 假设空间；

h : 假设；

P(h)：假设h的先验概率(Prior Probability)

        即没有训练数据前假设h拥有的初始概率

P(D)：训练数据的先验概率

        即在没有确定某一假设成立时D的概率

P(D|h)：似然度，在假设h成立的情况下，观察到D的概率；

P(h|D)：后验概率，给定训练数据D时h成立的概率；

2.2 贝叶斯定理(条件概率的应用)

公式

        后验概率正比于P(h)和P(D|h)

        反比于P(D)：D独立于h出现的概率越大，则D对h的支持度越小

2.3 相关概念

极大后验假设MAP：给定数据D和H中假设的先验概率，具有最大后验概率的假设h：

计算公式

极大似然假设ML：当H中的假设具有相同的先验概率时，给定h，使P(D|h)最大的假设hml：

计算公式

3. 贝叶斯分类器

4. 文本分类

算法描述：