分类目录：《机器学习中的数学》总目录
相关文章：
· 点估计（一）：基础知识
· 点估计（二）：矩估计
· 点估计（三）：极大似然估计/最大似然估计（Maximum Likelihood Estimate，MLE）
· 点估计（四）：最大后验估计（Maximum Posteriori Probability，MAP）

设总体 X X X的分布形式已知，但它的一个或多个参数未知，借助于总体 X X X的一个样本来估计总体未知参数值的问题称为参数的点估计。设总体 X ∼ f ( x ; θ ) X\sim f(x;\theta) X∼f(x;θ)，其中 f f f的形式已知， θ \theta θ是未知参数．例如，总体 X ∼ B ( 1 , p ) X\sim B(1, p) X∼B(1,p)，其中 p p p未知，这个 p p p即为标记总体分布的未知参数，简称总体参数。总体参数虽然是未知的，但是它可能取值的范围却是已知的．称总体参数的取值范围为参数空间，记作 Θ \Theta Θ．例如，已知总体 X ∼ N ( μ , σ 2 ) X\sim N(\mu, \sigma^2) X∼N(μ,σ2)，其中 μ \mu μ和 σ 2 \sigma^2 σ2都未知，参数空间 Θ = ( μ , σ 2 ) : − ∞ < μ < ∞ , σ 2 > 0 \Theta={(\mu, \sigma^2):-\infty<\mu<\infty, \sigma^2>0} Θ=(μ,σ2):−∞<μ<∞,σ2>0。

设 ( x 1 , x 2 , ⋯   , x n ) (x_1, x_2, \cdots, x_n) (x1​,x2​,⋯,xn​)是取自总体 X X X的一个样本，若用一个统计量 θ ^ = θ ^ ( x 1 , x 2 , ⋯   , x n ) \hat{\theta}=\hat{\theta}(x_1, x_2, \cdots, x_n) θ^=θ^(x1​,x2​,⋯,xn​)来估计 θ \theta θ，则称 θ ^ \hat{\theta} θ^为参数 θ \theta θ的一个点估计量。 θ ^ \hat{\theta} θ^为参数 θ \theta θ的一个估计量，则有 g ( θ ^ ) g(\hat{\theta}) g(θ^)为参数 g ( θ ) g(\theta) g(θ)的一个估计量．在这里，构造统计量 θ ^ \hat{\theta} θ^常用的方法有矩估计法、极大似然估计和最大后验估计等。