马尔科夫链

马尔科夫链有四个基本元素：状态 S 、状态转移矩阵( P )、状态初始分布( I )和平稳分布( Π )。

S=[s1,s2,...,sn](1)

P=⎡⎣⎢⎢147258369⎤⎦⎥⎥(2)

I=[i1,i2,...,in](3)

Π=[π1,π2,...,πn](4)

有些马尔科夫链是没有平稳分布的。一个非常有用的判断马尔科夫链是不是平稳的充分条件，即细致平稳条件。

细致平稳条件

如果非周期马氏链的转移矩阵 P 和分布 π(x) 满足

πiPi,j=πjPj,i,∀i,j∈{1,2,...,n} 则 π(x)是马氏链的平稳分布，上式被称为细致平稳条件(detailed balance condition)。

马尔科夫蒙特卡罗

马尔科夫蒙特卡罗是一个非常有用的统计分析工具，如果知道一个一个马尔科夫的状态转移矩阵，我们可以