机器学习的许多公式推导都涉及了数理统计的内容,特别是参数估计对理解机器学习很重要。这里三篇文章就对三种参数估计方法进行简单介绍。
对一些数理统计的基本概念的介绍,可参考之前的文章“数理统计学的基本概念”。
参数的点估计问题
设有一个统计总体,以 f(x;θ1,⋯,θk) f ( x ; θ 1 , ⋯ , θ k ) 记其概率密度函数(若总体分布为连续型的)或其概率函数(若其总体分布为离散型的)。避免重复交代这两种情况,我们约定称 f(x;θ1,⋯,θk) f ( x ; θ 1 , ⋯ , θ k ) 为“总体分布”,其具体含义视其为连续型或离散型而定。这个分布包含k个位置参数 θ1,⋯,θk θ 1 , ⋯ , θ k 。例如,对正态总体分布 N(μ,δ2) N ( μ , δ 2 ) ,有 θ1=μ θ 1 = μ , θ2=δ2 θ 2 = δ 2 ,而
f(x;θ1,θ2)=(2πθ2‾‾‾‾‾√)−1exp(−12θ2(x−θ1)2)(−∞<x<∞) f ( x ; θ 1 , θ 2 ) = ( 2 π θ 2 ) − 1 exp ( − 1 2 θ 2 ( x − θ 1 ) 2 ) ( − ∞ < x < ∞ )
若总体有二项分布
B(n,p) B ( n , p ) ,则
θ1=p θ 1 = p ,而
f(x;θ1)=(nx)θx1(1−θ1)n−k(x=0,1,⋯,n) f ( x ; θ 1 ) = ( n x ) θ 1 x ( 1 − θ 1 ) n − k ( x = 0 , 1 , ⋯ , n )
当k=1,即只有一个参数时,就用
θ θ 代替
θ1 θ 1
参数估计问题的一般提法是:设有了从总体中抽出样本 X1,⋯,Xn X 1 , ⋯ , X n (独立同分布),要依据这些样本去对参数 θ1,⋯,θk θ 1 , ⋯ , θ k 的未知值做出估计。当然我们也可以只要求估计 θ1,⋯,θk θ 1 , ⋯ , θ k 中的一部分,或估计他们的某个已知函数 g(θ1,⋯,θk) g ( θ 1 , ⋯ , θ k ) 。例如,为要估计 θ1 θ 1 ,我们需要构造出适当的统计量 θ1^=θ1^(X1,⋯,Xn) θ 1 ^ = θ 1 ^ ( X 1 , ⋯ , X n ) 。每当有了样本 X1,⋯,Xn X 1 , ⋯ , X n ,就代入函数 θ1^(X1,⋯,Xn) θ 1 ^ ( X 1 , ⋯ , X n ) 中计算出一个值,用来作为 θ1 θ 1 的估计值。为着这样的特定目的而构造的统计量 θ1^ θ 1 ^ 叫做 θ1 θ 1 的估计量。由于未知参数 θ1 θ 1 是数轴上的一个点,用 θ1^ θ 1 ^ 去估计 θ1 θ 1 ,等于用一个点估计另一个点,所以这样的估计叫做点估计,以别与区间估计。
矩估计法
矩估计法的思想比较简单:设总体分布为 f(x;θ1,⋯,θk) f ( x ; θ 1 , ⋯ , θ k ) ,则它的矩(原点矩和中心矩都可以,此处以原点矩为例)
αm=∫∞−∞xmf(x;θ1,⋯,θk)dx(或∑ixmi)f(x;θ1,⋯,θk)) α m = ∫ − ∞ ∞ x m f ( x ; θ 1 , ⋯ , θ k ) d x ( 或 ∑ i x i m ) f ( x ; θ 1 , ⋯ , θ k ) )
依赖于
θ1,⋯,θk θ 1 , ⋯ , θ k 。另一方面,至少在样本大小n较大时,样本原点矩
am a m 应该接近于
αm α m 。于是
αm=αm(θ1,⋯,θk)≈am=∑i=1nXmi/n α m = α m ( θ 1 , ⋯ , θ k ) ≈ a m = ∑ i = 1 n X i m / n
取
m=1,⋯,k m = 1 , ⋯ , k ,并将上面的近似式改成等式,就得到一个方程组:
αm(θ1,⋯,θk)=am(m=1,⋯,k) α m ( θ 1 , ⋯ , θ k ) = a m ( m = 1 , ⋯ , k )
解此方程组,得起根
θ1^(X1,⋯,Xn)(i=1,⋯,k) θ 1 ^ ( X 1 , ⋯ , X n ) ( i = 1 , ⋯ , k ) ,就以
θ̂ i θ ^ i 作为
θi θ i 的估计
(i=1,⋯,k) ( i = 1 , ⋯ , k ) 。如果要估计的是
θ1,⋯,θk θ 1 , ⋯ , θ k 的某函数
g(θ1,⋯,θk) g ( θ 1 , ⋯ , θ k ) ,则用
ĝ (X1,⋯,Xn)=g(θ̂ 1,⋯,θ̂ k) g ^ ( X 1 , ⋯ , X n ) = g ( θ ^ 1 , ⋯ , θ ^ k ) 去估计它。这样定出的估计量就叫做矩估计。
例子
设 X1,⋯,Xn X 1 , ⋯ , X n 是从正态总体 N(μ,δ2) N ( μ , δ 2 ) 中抽取的样本,要估计 μ μ 和 δ2 δ 2 。 μ μ 是总体的一阶原点矩,按矩估计,用样本的一阶原点矩,即样本均值 X⎯⎯⎯⎯ X ¯ 去估计。 δ2 δ 2 是总体方差,即总体的二阶中心矩,可用样本的二阶中心矩 m2 m 2 去估计。一般地,在估计方差时,常用样本方差 S2 S 2 而不用 m2 m 2 ,即对矩估计做了一定的修正。
参考书目
《概率论与数理统计》——陈希孺