一、贝叶斯网络
本文介绍贝叶斯网络。贝叶斯网络与前面的大多数算法有一些区别,它归属与贝叶斯学派,属于判别式模型。前面介绍大多数算法归属于频率学派,属于生成式模型。
贝叶斯网络可以看成是一个DAG(有向无环图)模型
贝叶斯网络的三个知识点
1、网络如图所示:
A←C→B 则在C给定的条件下,A与B独立。
2、网络如图所示:
A→C→B C给定的条件下,A与B独立
3、网络如图所示:
A→C←B C未知的条件下,A与B独立
二、朴素贝叶斯
前提:假设各特征相互独立(条件独立),且重要性相同
一个样本点属于某一类的概率是
P(y|x1,...,xn)=P(y)P(x1,...,xn|y)P(x1,...,xn)=P(y)∏ni=1P(xi|y)P(x1,...,xn)
在朴素贝叶斯中,判别一个样本点属于那个类别的公式为
y=argmaxyP(y)∏i=1nP(xi|y)
其中,这个 P(xi|y) 当是离散时是多项式分布,是连续时是高斯分布。