参数估计
考点定位
- 大纲位置:数理统计 · 点估计的概念、估计量与估计值、矩估计法、最大似然估计法;估计量的评选标准(无偏性、有效性、相合性);区间估计的概念、单个正态总体的均值和方差的置信区间(数一、数三公共考点;数二不考)
- 常见题型:矩估计法与最大似然估计法大题(数一概率解答题最高频命题区,连续型、离散型、均匀分布边界型都出现过真题);估计量无偏性/有效性/相合性的判定与证明;由给定数据求正态总体均值或方差的置信区间(含单侧);已知置信区间长度反求样本量
- 考查频率:高。2008、2009、2013、2015、2017、2020 等年份解答题直接考矩估计/最大似然,区间估计与无偏性判定以选择、填空反复出现
- 前置知识:数理统计的基本概念(统计量、χ2/t 分布、正态总体四大抽样分布定理——本章公式表的直接来源);随机变量的数字特征(期望方差计算);大数定律与中心极限定理(矩估计与相合性的理论依据:辛钦大数定律);求导与求极值回看一元函数微分学
- 定位:推断统计的第一支柱——"点估计给单值答案,区间估计给误差范围,评选标准回答哪个估计量更好"。工程类比:点估计是"给线上服务打一个单一延迟指标",区间估计是"给出带置信度的延迟区间",无偏/有效/相合则是"评估这个监控指标本身靠不靠谱"。
核心讲解
点估计的概念
定义(点估计):设总体 X 的分布函数 F(x;θ) 形式已知,θ 为未知参数(可为一个或多个,参数可能取值的全体 Θ 称为参数空间)。借助于样本 X1,…,Xn 构造一个统计量 θ^(X1,…,Xn),用它作为 θ 的估计,称为 θ 的估计量;代入样本观测值后得到的 θ^(x1,…,xn) 称为估计值。求估计量的方法主要有两种:矩估计法与最大似然估计法。
矩估计法
思想:由辛钦大数定律,当 X1,…,Xn 独立同分布且 E(Xk) 存在时,样本 k 阶原点矩 Ak=n1∑Xik 依概率收敛于总体 k 阶原点矩 μk=E(Xk)。因此用样本矩替换(估计)总体矩是合理的——"用经验矩替换理论矩"。
矩估计法完整步骤(设有 k 个未知参数 θ1,…,θk):
- 算总体矩:计算 μj=E(Xj)(j=1,…,k),它们是 θ1,…,θk 的函数(常用到 μ1=E(X),以及由 D(X)=E(X2)−[E(X)]2 得到的二阶矩);
- 令样本矩等于总体矩:建立方程组 Aj=μj(θ1,…,θk),j=1,…,k(一个未知参数用一个方程,两个参数用两个方程);
- 解方程组:解出 θ^1,…,θ^k(用样本矩表达),即矩估计量;代入样本值即矩估计值。
例(指数分布):总体 X∼E(λ),密度 f(x)=λe−λx,x>0。只有一个参数,用一阶矩:E(X)=λ1=Xˉ⇒λ^=Xˉ1。
例(均匀分布,双参数):总体 X∼U(a,b)。两个参数,用一、二阶矩:E(X)=2a+b,D(X)=12(b−a)2,而 D(X) 的矩估计用样本二阶中心矩 B2=n1∑(Xi−Xˉ)2 替换。令
2a+b=Xˉ,12(b−a)2=B2 ⇒ b−a=23B2,
解得
a^=Xˉ−3B2,b^=Xˉ+3B2.
要点:用方差列方程时,样本端是 B2(分母 n 的中心矩),不是 S2;若用 S2 需先换算 B2=nn−1S2。
矩估计法优缺点:优点是直观、计算量小、不要求知道总体分布的完整形式(本质上只用了矩的信息);缺点是可能"浪费"分布形状信息,有时估计量不如最大似然有效(如均匀分布),甚至方程组无解或多解。
最大似然估计法
思想:既然观测到了 x1,…,xn,就认为"取到这组样本的概率应尽可能大"——在参数空间 Θ 中找 θ 使样本联合概率(密度)最大。类比:调参时选"最能解释当前日志数据"的那个参数值。
定义(似然函数):设总体为离散型,分布律 P{X=x}=p(x;θ);或连续型,密度 f(x;θ)。样本的联合分布
L(θ)=∏i=1np(xi;θ)(离散型),L(θ)=∏i=1nf(xi;θ)(连续型)
作为 θ 的函数称为似然函数。若存在 θ^∈Θ 使 L(θ^)=θ∈ΘmaxL(θ),则称 θ^ 为 θ 的最大似然估计值,相应的统计量 θ^(X1,…,Xn) 为最大似然估计量(MLE)。
注意视角切换:p(x;θ) 中把 x 看成变量时是分布律/密度,把 x 固定为观测值、把 θ 看成变量时就是似然函数。
最大似然估计法完整步骤:
- 写似然函数 L(θ)(注意:密度/分布律中与样本有关的"范围限制"要保留,它们常决定参数的取值约束,如均匀分布);
- 取对数 lnL(θ)(连乘变连加,且 ln 单调不减不改变最大值点);
- 求导置零:解方程 dθdlnL=0(多参数时求偏导联立),得到驻点;
- 验证最大值:确认驻点是最大值点(lnL 通常为上凸函数,二阶导小于零即可确认)。特别情形:若 L(θ) 关于 θ 单调或最大值在边界取得,求导法失效,应直接分析单调性(见例 4 均匀分布)。
例 3(连续型):总体 X∼E(λ),f(x)=λe−λx,x>0。
L(λ)=∏i=1nλe−λxi=λne−λ∑xi,lnL=nlnλ−λ∑i=1nxi.
令 dλdlnL=λn−∑xi=0,得 λ^=∑xin=xˉ1。dλ2d2lnL=−λ2n<0 确认最大值。与矩估计结果一致。
例 4(边界型,导数法失效的经典):总体 X∼U(0,θ),f(x)=θ1,0≤x≤θ。
L(θ)=∏i=1nθ1=θ−n,约束:0≤xi≤θ 对一切 i 成立,即 θ≥max1≤i≤nxi=x(n).
lnL=−nlnθ 关于 θ 严格单调递减,故 L 在约束允许的最小 θ 处最大:θ^=x(n)=max{x1,…,xn}。最大似然估计量为 θ^=X(n)(样本最大次序统计量)。
顺带一提:E[X(n)]=n+1nθ=θ,它不是无偏估计——同一点估计可同时是 MLE 但有偏。
正态总体双参数(结论记忆):X∼N(μ,σ2) 时 MLE 为 μ^=Xˉ,σ^2=n1∑(Xi−Xˉ)2(注意分母是 n,有偏,与 S2 差一个因子 nn−1)。推导见自测第 5 题。
估计量的评选标准
定义(无偏性):若 E(θ^)=θ 对一切 θ∈Θ 成立,则称 θ^ 是 θ 的无偏估计量;否则称为有偏(若 E(θ^)−θ=bn→0,称渐近无偏)。无偏的含义:估计量这个"随机测量仪器"没有系统性偏差,多次测量取平均会落在真值上。
常用结论:E(Xˉ)=μ(无偏);E(S2)=σ2(无偏,推导见数理统计的基本概念);E[n1∑(Xi−Xˉ)2]=nn−1σ2<σ2(有偏,系统性偏小);MLE σ^2 与均匀分布 X(n) 均为有偏。
定义(有效性):设 θ^1,θ^2 都是 θ 的无偏估计量,若 D(θ^1)<D(θ^2),则称 θ^1 比 θ^2 有效。有效性比较的是无偏估计量之间的方差——同样无系统偏差时,波动更小者更优。
经典例:μ^1=X1 与 μ^2=Xˉ 都是 μ 的无偏估计,但 D(Xˉ)=nσ2<σ2=D(X1),故 Xˉ 更有效。更一般地,若 T=∑ciXi 且 ∑ci=1,则 T 是 μ 的无偏估计且 D(T)=σ2∑ci2≥nσ2,等号当且仅当 ci≡n1——即 Xˉ 是这类线性无偏估计中方差最小者。
定义(相合性 / 一致性):若 θ^n=θ^n(X1,…,Xn) 满足 θ^nPθ(依概率收敛,见大数定律与中心极限定理),则称 θ^n 是 θ 的相合估计量。相合性即"样本量增大时估计量收敛到真值",是对估计量的最低合理性要求。
判定工具:辛钦大数定律直接给出 Xˉ 是 μ 的相合估计;Ak 是 μk=E(Xk) 的相合估计;再配合连续函数保持依概率收敛( Slutsky 思想),如 S2 是 σ2 的相合估计、Xˉ1 是 μ1 的相合估计(μ=0 时)。
三标准关系小结:无偏性管"期望对不对",有效性管"方差小不小"(前提无偏),相合性管"样本量大时靠不靠谱"。三者相互独立——有偏可以相合(如 B2),无偏可以不相合(构造反例)。
区间估计
动机:点估计只给一个数,不携带"可信程度"信息。区间估计给出一个随机区间 [θ^1,θ^2] 并给出它盖住真值的概率。
定义(置信区间):设总体分布含未知参数 θ。若由样本确定的两个统计量 θ^1,θ^2(θ^1<θ^2)满足
P{θ^1<θ<θ^2}=1−α
(0<α<1,通常 α=0.05 或 0.01),则称随机区间 (θ^1,θ^2) 是 θ 的置信度(置信水平)为 1−α 的置信区间,θ^1,θ^2 分别为置信下限与置信上限。若只要求 P{θ^1<θ}=1−α(或 P{θ<θ^2}=1−α),则称为单侧置信区间(只有下限或只有上限)。
置信度的频率解释(正确理解,常考辨析):随机性在区间不在 θ——重复抽样 100 次,按同法得到 100 个区间,其中约有 95 个(当 1−α=0.95)盖住真值 θ。不能说"θ 落入该区间的概率是 0.95"(对一次已实现的区间,θ 要么在里面要么不在里面)。
枢轴量法(求置信区间的标准流程):
- 找枢轴量:构造函数 G(X1,…,Xn;θ),它包含待估的 θ 但不含其他未知参数,且其分布完全已知(不依赖任何未知参数)。正态总体的枢轴量全部来自四大抽样分布定理;
- 定分位点:对给定 1−α,按"双侧各留 α/2"(双侧区间)或"单侧留 α"(单侧区间)写出概率等式,如 P{a<G<b}=1−α;
- 解不等式:把 {a<G<b} 中不等式等价变形为 {θ^1<θ<θ^2},即得置信区间。
正态总体 N(μ,σ2) 参数的置信区间公式表(α 为显著性水平,置信度 1−α;zα 即 N(0,1) 上 α 分位点,满足 Φ(zα)=1−α):
表中 χ2 行的两个易错点必须单独强调:
- 上下限顺序:由 P{χ1−α/22<σ2(n−1)S2<χα/22}=1−α 出发取倒数(不等号反向),得 χα/22(n−1)S2<σ2<χ1−α/22(n−1)S2——大的分位点 χα/22 对应下限,这直觉上"反常",靠推导记忆而不是死记;
- 精度不对称:χ2 分布不对称,双侧区间两侧概率各 α/2 但端点不对称,这是它与 N(0,1)、t(对称分布)的最大区别。
样本量确定:σ2 已知时均值双侧区间长度 L=n2σzα/2,若要求 L≤l,则 n≥(l2σzα/2)2(向上取整)。
例题
例 1(矩估计,模拟题):设总体 X 的密度 f(x;θ)={θxθ−1,0,0<x<1其他(θ>0 未知),X1,…,Xn 为样本。求 θ 的矩估计量。
解析:一个参数,一个方程。
第一步算总体一阶矩:
E(X)=∫01x⋅θxθ−1dx=θ∫01xθdx=θ+1θ.
第二步令其等于样本均值:θ+1θ=Xˉ。第三步解出:
θXˉ+Xˉ=θ ⇒ θ^=1−XˉXˉ.
要点:矩估计"三步走"——算矩、令等、解方程;积分是幂函数积分,别被参数吓住。
例 2(离散型最大似然,模拟题):设总体 X∼B(1,p)(两点分布),P{X=1}=p。样本观测值为 x1,…,xn∈{0,1},求 p 的最大似然估计。
解析:
第一步写似然:分布律 P{X=x}=px(1−p)1−x,故
L(p)=∏i=1npxi(1−p)1−xi=p∑xi(1−p)n−∑xi.
第二步取对数:lnL=(∑xi)lnp+(n−∑xi)ln(1−p)。
第三步求导置零:
∂p∂lnL=p∑xi−1−pn−∑xi=0 ⇒ p^=n1∑i=1nxi=xˉ.
第四步:∂p2∂2lnL<0,确为最大值。最大似然估计量为 p^=Xˉ——频率就是概率的 MLE(与伯努利大数定律"频率稳定于概率"互为印证)。泊松总体的 MLE 同样是 λ^=Xˉ(自测第 4 题练手)。
例 3(连续型最大似然,模拟题):设总体 X 的密度 f(x;θ)={(θ+1)xθ,0,0<x<1其他(θ>−1 未知)。求 θ 的最大似然估计量。
解析:
L(θ)=∏i=1n(θ+1)xiθ=(θ+1)n∏i=1nxiθ=(θ+1)n(∏i=1nxi)θ,
lnL=nln(θ+1)+θ∑i=1nlnxi.
令 dθdlnL=θ+1n+∑lnxi=0,解得
θ^=−i=1∑nlnxin−1=−1−∑lnxin.
由 dθ2d2lnL=−(θ+1)2n<0 确认最大值。要点:密度含 xθ 型因子时,取对数后 lnxi 自然出现,∑lnxi 是一个整体统计量,不要试图拆开。
例 4(无偏性与有效性判定,模拟题):设 X1,…,Xn 来自总体 X,E(X)=μ,D(X)=σ2 存在。判断下列说法正误:
(a)Xˉ 是 μ 的无偏估计且比 X1 有效;
(b)S2 是 σ2 的无偏估计;
(c)Sn2=n1∑(Xi−Xˉ)2 是 σ2 的无偏估计。
解析:
(a)正确。E(Xˉ)=μ,D(Xˉ)=nσ2≤σ2=D(X1)。
(b)正确。E(S2)=σ2,推导见第 6 章恒等式部分(本质原因是离差平方和的期望为 (n−1)σ2,除 n−1 恰好无偏)。
(c)错误。E(Sn2)=nn−1σ2<σ2,系统性偏小,是有偏估计(但渐近无偏且相合)。这正是样本方差分母取 n−1 的原因——修正被 Xˉ 消耗掉的一个自由度。
例 5(置信区间,σ 未知求 μ,模拟题):某零件长度 X∼N(μ,σ2),σ 未知。抽取 n=16 件,测得 xˉ=20(毫米),s=1.5。求 μ 的置信度为 0.95 的置信区间(已知 t0.025(15)=2.1315)。
解析:σ 未知 → 枢轴量 S/nXˉ−μ∼t(15),双侧区间为 xˉ±nst0.025(15):
20±41.5×2.1315=20±0.799,
置信区间为 (19.20, 20.80)。若题目改为求单侧置信下限(如"平均长度至少是多少"),则套单侧公式 xˉ−nst0.05(15)——注意单侧用 t0.05(15) 而非 t0.025(15),全部 α 集中在一侧。
例 6(方差置信区间,模拟题):续上例,求 σ2 的置信度为 0.95 的置信区间(已知 n=16,s2=2.25,χ0.0252(15)=27.488,χ0.9752(15)=6.262)。
解析:枢轴量 σ215S2∼χ2(15),双侧区间
(χ0.0252(15)15s2, χ0.9752(15)15s2)=(27.48815×2.25, 6.26215×2.25)≈(1.23, 5.39).
要点:验算端点顺序——分母大(27.488)的端是下限 1.23,分母小(6.262)的端是上限 5.39,"大分点对应下限"不可弄反。
常见坑
- 矩估计中"用方差列方程时样本端写错":总体端是 D(X) 时,样本端应取 B2(分母 n),不是 S2;若题目指定用 S2 表达,须乘 nn−1。
- 似然函数漏掉取值范围约束:均匀分布等"截断型"密度中,0≤xi≤θ 这类约束是似然函数定义域的一部分,漏掉会导致求导结果错误(甚至无解)。此类题最大值通常在边界,导数法失效。
- MLE 的 σ^2 与 S2 混淆:正态总体 MLE σ^2=n1∑(Xi−Xˉ)2(有偏),S2=n−11∑(Xi−Xˉ)2(无偏)。题目问谁就答谁,别"顺手修正"。
- 有效性的前提是无偏:比较有效性必须先确认两者都无偏;拿一个无偏和一个有偏的估计量直接比方差没有意义。
- 置信区间的"错误概率解释":1−α 是"区间盖住 θ"的频率保证,不是"θ 以概率 1−α 落在区间内"——θ 是常数不是随机变量。
- z 与 t 的选择:σ 已知用 N(0,1)(zα/2),σ 未知用 t(n−1);大样本(n≥30)时 t≈z 可近似,但小样本绝不能混用。t 分位点数值比 z 大,误用 z 会把区间算窄。
- χ2 区间端点颠倒:χ1−α/22<χα/22,而置信区间是 (χα/22(n−1)S2, χ1−α/22(n−1)S2)——"大分点在分母的端是下限"。考前重推一遍取倒数的不等号反向过程。
自测
- 总体 X∼U(a,b)(a,b 均未知),n=12,xˉ=10,B2=4,求 a,b 的矩估计值。
- 总体 X∼U(0,θ),求 θ 的矩估计量,并与 MLE θ^=X(n) 对比。
- 设 θ^1,θ^2 均为 θ 的无偏估计,D(θ^1)=2σ02,D(θ^2)=σ02,且相互独立。构造形如 aθ^1+bθ^2 的无偏估计,问 a,b 取何值时方差最小。
- 总体 X∼P(λ)(泊松),P{X=k}=k!λke−λ,求 λ 的最大似然估计量,并与矩估计比较。
- 总体 X∼N(μ,σ2),μ,σ2 均未知,推导 μ,σ2 的最大似然估计量。
自测答案
- a^=xˉ−3B2=10−12≈6.54,b^=10+12≈13.46(3B2=3×4=12=23≈3.46)。
- 矩估计:E(X)=2θ=Xˉ⇒θ^矩=2Xˉ。MLE:θ^=X(n)(推导见正文例 4)。两者都无偏吗?E(2Xˉ)=θ 无偏;E(X(n))=n+1nθ 有偏。但 D(X(n))) 更小,MLE 整体上更优——"无偏"不等于"处处更好"。
- 无偏要求 a+b=1(E[aθ^1+bθ^2]=(a+b)θ)。独立性下 D(aθ^1+bθ^2)=2a2σ02+b2σ02,代入 b=1−a 后对 a 求导置零:4a−2(1−a)=0⇒a=31,b=32。最小方差为 32σ02。方差小的估计量占更大权重,权重反比于方差(这正是最小方差线性组合的结构)。
- L(λ)=∏xi!λxie−λ=∏xi!λ∑xie−nλ,lnL=∑xilnλ−nλ−∑ln(xi!),dλdlnL=λ∑xi−n=0⇒λ^=Xˉ。矩估计:E(X)=λ=Xˉ,两者一致。泊松、指数(1/Xˉ)、二项(Xˉ)这些单参数分布的 MLE 与矩估计高度重合,属"送分配置"。
- lnL=−2nln(2π)−nlnσ−2σ21∑(xi−μ)2。对 μ 求导置零:σ21∑(xi−μ)=0⇒μ^=xˉ。代回后对 σ(或 σ2)求导置零:−σn+σ3∑(xi−xˉ)2=0⇒σ^2=n1∑(xi−xˉ)2。注意 MLE 的 σ^2 分母是 n,有偏;无偏版本是 S2(分母 n−1)。