参数估计

考点定位

  • 大纲位置:数理统计 · 点估计的概念、估计量与估计值、矩估计法、最大似然估计法;估计量的评选标准(无偏性、有效性、相合性);区间估计的概念、单个正态总体的均值和方差的置信区间(数一、数三公共考点;数二不考)
  • 常见题型:矩估计法与最大似然估计法大题(数一概率解答题最高频命题区,连续型、离散型、均匀分布边界型都出现过真题);估计量无偏性/有效性/相合性的判定与证明;由给定数据求正态总体均值或方差的置信区间(含单侧);已知置信区间长度反求样本量
  • 考查频率:高。2008、2009、2013、2015、2017、2020 等年份解答题直接考矩估计/最大似然,区间估计与无偏性判定以选择、填空反复出现
  • 前置知识:数理统计的基本概念(统计量、χ2/t\chi^2/t 分布、正态总体四大抽样分布定理——本章公式表的直接来源);随机变量的数字特征(期望方差计算);大数定律与中心极限定理(矩估计与相合性的理论依据:辛钦大数定律);求导与求极值回看一元函数微分学
  • 定位:推断统计的第一支柱——"点估计给单值答案,区间估计给误差范围,评选标准回答哪个估计量更好"。工程类比:点估计是"给线上服务打一个单一延迟指标",区间估计是"给出带置信度的延迟区间",无偏/有效/相合则是"评估这个监控指标本身靠不靠谱"。

核心讲解

点估计的概念

定义(点估计):设总体 XX 的分布函数 F(x;θ)F(x; \theta) 形式已知,θ\theta 为未知参数(可为一个或多个,参数可能取值的全体 Θ\Theta 称为参数空间)。借助于样本 X1,…,XnX_1, \dots, X_n 构造一个统计量 θ^(X1,…,Xn)\hat\theta(X_1, \dots, X_n),用它作为 θ\theta 的估计,称为 θ\theta 的估计量;代入样本观测值后得到的 θ^(x1,…,xn)\hat\theta(x_1, \dots, x_n) 称为估计值。求估计量的方法主要有两种:矩估计法与最大似然估计法。

矩估计法

思想:由辛钦大数定律,当 X1,…,XnX_1, \dots, X_n 独立同分布且 E(Xk)E(X^k) 存在时,样本 kk 阶原点矩 Ak=1n∑XikA_k = \dfrac1n \sum X_i^k 依概率收敛于总体 kk 阶原点矩 μk=E(Xk)\mu_k = E(X^k)。因此用样本矩替换(估计)总体矩是合理的——"用经验矩替换理论矩"。

矩估计法完整步骤(设有 kk 个未知参数 θ1,…,θk\theta_1, \dots, \theta_k):

  1. 算总体矩:计算 μj=E(Xj)\mu_j = E(X^j)(j=1,…,kj = 1, \dots, k),它们是 θ1,…,θk\theta_1, \dots, \theta_k 的函数(常用到 μ1=E(X)\mu_1 = E(X),以及由 D(X)=E(X2)−[E(X)]2D(X) = E(X^2) - [E(X)]^2 得到的二阶矩);
  2. 令样本矩等于总体矩:建立方程组 Aj=μj(θ1,…,θk)A_j = \mu_j(\theta_1, \dots, \theta_k),j=1,…,kj = 1, \dots, k(一个未知参数用一个方程,两个参数用两个方程);
  3. 解方程组:解出 θ^1,…,θ^k\hat\theta_1, \dots, \hat\theta_k(用样本矩表达),即矩估计量;代入样本值即矩估计值。

例(指数分布):总体 X∼E(λ)X \sim E(\lambda),密度 f(x)=λe−λx,x>0f(x) = \lambda e^{-\lambda x}, x > 0。只有一个参数,用一阶矩:E(X)=1λ=Xˉ⇒λ^=1XˉE(X) = \dfrac1\lambda = \bar X \Rightarrow \hat\lambda = \dfrac{1}{\bar X}。

例(均匀分布,双参数):总体 X∼U(a,b)X \sim U(a, b)。两个参数,用一、二阶矩:E(X)=a+b2E(X) = \dfrac{a+b}{2},D(X)=(b−a)212D(X) = \dfrac{(b-a)^2}{12},而 D(X)D(X) 的矩估计用样本二阶中心矩 B2=1n∑(Xi−Xˉ)2B_2 = \dfrac1n \sum (X_i - \bar X)^2 替换。令

a+b2=Xˉ,(b−a)212=B2 ⇒ b−a=23B2,\frac{a + b}{2} = \bar X, \qquad \frac{(b - a)^2}{12} = B_2 \ \Rightarrow\ b - a = 2\sqrt{3 B_2},

解得

a^=Xˉ−3B2,b^=Xˉ+3B2.\hat a = \bar X - \sqrt{3 B_2}, \qquad \hat b = \bar X + \sqrt{3 B_2}.

要点:用方差列方程时,样本端是 B2B_2(分母 nn 的中心矩),不是 S2S^2;若用 S2S^2 需先换算 B2=n−1nS2B_2 = \dfrac{n-1}{n} S^2。

矩估计法优缺点:优点是直观、计算量小、不要求知道总体分布的完整形式(本质上只用了矩的信息);缺点是可能"浪费"分布形状信息,有时估计量不如最大似然有效(如均匀分布),甚至方程组无解或多解。

最大似然估计法

思想:既然观测到了 x1,…,xnx_1, \dots, x_n,就认为"取到这组样本的概率应尽可能大"——在参数空间 Θ\Theta 中找 θ\theta 使样本联合概率(密度)最大。类比:调参时选"最能解释当前日志数据"的那个参数值。

定义(似然函数):设总体为离散型,分布律 P{X=x}=p(x;θ)P\{X = x\} = p(x; \theta);或连续型,密度 f(x;θ)f(x; \theta)。样本的联合分布

L(θ)=∏i=1np(xi;θ)(离散型),L(θ)=∏i=1nf(xi;θ)(连续型)L(\theta) = \prod_{i=1}^{n} p(x_i; \theta) \quad \text{(离散型)}, \qquad L(\theta) = \prod_{i=1}^{n} f(x_i; \theta) \quad \text{(连续型)}

作为 θ\theta 的函数称为似然函数。若存在 θ^∈Θ\hat\theta \in \Theta 使 L(θ^)=max⁡θ∈ΘL(θ)L(\hat\theta) = \max\limits_{\theta \in \Theta} L(\theta),则称 θ^\hat\theta 为 θ\theta 的最大似然估计值,相应的统计量 θ^(X1,…,Xn)\hat\theta(X_1, \dots, X_n) 为最大似然估计量(MLE)。

注意视角切换:p(x;θ)p(x; \theta) 中把 xx 看成变量时是分布律/密度,把 xx 固定为观测值、把 θ\theta 看成变量时就是似然函数。

最大似然估计法完整步骤:

  1. 写似然函数 L(θ)L(\theta)(注意:密度/分布律中与样本有关的"范围限制"要保留,它们常决定参数的取值约束,如均匀分布);
  2. 取对数 ln⁡L(θ)\ln L(\theta)(连乘变连加,且 ln⁡\ln 单调不减不改变最大值点);
  3. 求导置零:解方程 dln⁡Ldθ=0\dfrac{d \ln L}{d \theta} = 0(多参数时求偏导联立),得到驻点;
  4. 验证最大值:确认驻点是最大值点(ln⁡L\ln L 通常为上凸函数,二阶导小于零即可确认)。特别情形:若 L(θ)L(\theta) 关于 θ\theta 单调或最大值在边界取得,求导法失效,应直接分析单调性(见例 4 均匀分布)。

例 3(连续型):总体 X∼E(λ)X \sim E(\lambda),f(x)=λe−λx,x>0f(x) = \lambda e^{-\lambda x}, x > 0。

L(λ)=∏i=1nλe−λxi=λne−λ∑xi,ln⁡L=nln⁡λ−λ∑i=1nxi.L(\lambda) = \prod_{i=1}^{n} \lambda e^{-\lambda x_i} = \lambda^n e^{-\lambda \sum x_i}, \qquad \ln L = n \ln \lambda - \lambda \sum_{i=1}^{n} x_i.

令 dln⁡Ldλ=nλ−∑xi=0\dfrac{d \ln L}{d\lambda} = \dfrac{n}{\lambda} - \sum x_i = 0,得 λ^=n∑xi=1xˉ\hat\lambda = \dfrac{n}{\sum x_i} = \dfrac{1}{\bar x}。d2ln⁡Ldλ2=−nλ2<0\dfrac{d^2 \ln L}{d \lambda^2} = -\dfrac{n}{\lambda^2} < 0 确认最大值。与矩估计结果一致。

例 4(边界型,导数法失效的经典):总体 X∼U(0,θ)X \sim U(0, \theta),f(x)=1θ,0≤x≤θf(x) = \dfrac1\theta, 0 \le x \le \theta。

L(θ)=∏i=1n1θ=θ−n,约束:0≤xi≤θ 对一切 i 成立,即 θ≥max⁡1≤i≤nxi=x(n).L(\theta) = \prod_{i=1}^{n} \frac{1}{\theta} = \theta^{-n}, \qquad \text{约束:} 0 \le x_i \le \theta \ \text{对一切 } i \ \text{成立,即} \ \theta \ge \max_{1 \le i \le n} x_i = x_{(n)}.

ln⁡L=−nln⁡θ\ln L = -n \ln \theta 关于 θ\theta 严格单调递减,故 LL 在约束允许的最小 θ\theta 处最大:θ^=x(n)=max⁡{x1,…,xn}\hat\theta = x_{(n)} = \max\{x_1, \dots, x_n\}。最大似然估计量为 θ^=X(n)\hat\theta = X_{(n)}(样本最大次序统计量)。

顺带一提:E[X(n)]=nn+1θ≠θE\left[X_{(n)}\right] = \dfrac{n}{n+1}\theta \ne \theta,它不是无偏估计——同一点估计可同时是 MLE 但有偏。

正态总体双参数(结论记忆):X∼N(μ,σ2)X \sim N(\mu, \sigma^2) 时 MLE 为 μ^=Xˉ\hat\mu = \bar X,σ^2=1n∑(Xi−Xˉ)2\hat\sigma^2 = \dfrac1n \sum (X_i - \bar X)^2(注意分母是 nn,有偏,与 S2S^2 差一个因子 n−1n\dfrac{n-1}{n})。推导见自测第 5 题。

估计量的评选标准

定义(无偏性):若 E(θ^)=θE(\hat\theta) = \theta 对一切 θ∈Θ\theta \in \Theta 成立,则称 θ^\hat\theta 是 θ\theta 的无偏估计量;否则称为有偏(若 E(θ^)−θ=bn→0E(\hat\theta) - \theta = b_n \to 0,称渐近无偏)。无偏的含义:估计量这个"随机测量仪器"没有系统性偏差,多次测量取平均会落在真值上。

常用结论:E(Xˉ)=μE(\bar X) = \mu(无偏);E(S2)=σ2E(S^2) = \sigma^2(无偏,推导见数理统计的基本概念);E[1n∑(Xi−Xˉ)2]=n−1nσ2<σ2E\left[\dfrac1n \sum (X_i - \bar X)^2\right] = \dfrac{n-1}{n}\sigma^2 < \sigma^2(有偏,系统性偏小);MLE σ^2\hat\sigma^2 与均匀分布 X(n)X_{(n)} 均为有偏。

定义(有效性):设 θ^1,θ^2\hat\theta_1, \hat\theta_2 都是 θ\theta 的无偏估计量,若 D(θ^1)<D(θ^2)D(\hat\theta_1) < D(\hat\theta_2),则称 θ^1\hat\theta_1 比 θ^2\hat\theta_2 有效。有效性比较的是无偏估计量之间的方差——同样无系统偏差时,波动更小者更优。

经典例:μ^1=X1\hat\mu_1 = X_1 与 μ^2=Xˉ\hat\mu_2 = \bar X 都是 μ\mu 的无偏估计,但 D(Xˉ)=σ2n<σ2=D(X1)D(\bar X) = \dfrac{\sigma^2}{n} < \sigma^2 = D(X_1),故 Xˉ\bar X 更有效。更一般地,若 T=∑ciXiT = \sum c_i X_i 且 ∑ci=1\sum c_i = 1,则 TT 是 μ\mu 的无偏估计且 D(T)=σ2∑ci2≥σ2nD(T) = \sigma^2 \sum c_i^2 \ge \dfrac{\sigma^2}{n},等号当且仅当 ci≡1nc_i \equiv \dfrac1n——即 Xˉ\bar X 是这类线性无偏估计中方差最小者。

定义(相合性 / 一致性):若 θ^n=θ^n(X1,…,Xn)\hat\theta_n = \hat\theta_n(X_1, \dots, X_n) 满足 θ^n→Pθ\hat\theta_n \xrightarrow{P} \theta(依概率收敛,见大数定律与中心极限定理),则称 θ^n\hat\theta_n 是 θ\theta 的相合估计量。相合性即"样本量增大时估计量收敛到真值",是对估计量的最低合理性要求。

判定工具:辛钦大数定律直接给出 Xˉ\bar X 是 μ\mu 的相合估计;AkA_k 是 μk=E(Xk)\mu_k = E(X^k) 的相合估计;再配合连续函数保持依概率收敛( Slutsky 思想),如 S2S^2 是 σ2\sigma^2 的相合估计、1Xˉ\dfrac{1}{\bar X} 是 1μ\dfrac{1}{\mu} 的相合估计(μ≠0\mu \ne 0 时)。

三标准关系小结:无偏性管"期望对不对",有效性管"方差小不小"(前提无偏),相合性管"样本量大时靠不靠谱"。三者相互独立——有偏可以相合(如 B2B_2),无偏可以不相合(构造反例)。

区间估计

动机:点估计只给一个数,不携带"可信程度"信息。区间估计给出一个随机区间 [θ^1,θ^2][\hat\theta_1, \hat\theta_2] 并给出它盖住真值的概率。

定义(置信区间):设总体分布含未知参数 θ\theta。若由样本确定的两个统计量 θ^1,θ^2\hat\theta_1, \hat\theta_2(θ^1<θ^2\hat\theta_1 < \hat\theta_2)满足

P{θ^1<θ<θ^2}=1−αP\left\{ \hat\theta_1 < \theta < \hat\theta_2 \right\} = 1 - \alpha

(0<α<10 < \alpha < 1,通常 α=0.05\alpha = 0.05 或 0.010.01),则称随机区间 (θ^1,θ^2)(\hat\theta_1, \hat\theta_2) 是 θ\theta 的置信度(置信水平)为 1−α1 - \alpha 的置信区间,θ^1,θ^2\hat\theta_1, \hat\theta_2 分别为置信下限与置信上限。若只要求 P{θ^1<θ}=1−αP\{\hat\theta_1 < \theta\} = 1 - \alpha(或 P{θ<θ^2}=1−αP\{\theta < \hat\theta_2\} = 1 - \alpha),则称为单侧置信区间(只有下限或只有上限)。

置信度的频率解释(正确理解,常考辨析):随机性在区间不在 θ\theta——重复抽样 100 次,按同法得到 100 个区间,其中约有 9595 个(当 1−α=0.951-\alpha = 0.95)盖住真值 θ\theta。不能说"θ\theta 落入该区间的概率是 0.95"(对一次已实现的区间,θ\theta 要么在里面要么不在里面)。

枢轴量法(求置信区间的标准流程):

  1. 找枢轴量:构造函数 G(X1,…,Xn;θ)G(X_1, \dots, X_n; \theta),它包含待估的 θ\theta 但不含其他未知参数,且其分布完全已知(不依赖任何未知参数)。正态总体的枢轴量全部来自四大抽样分布定理;
  2. 定分位点:对给定 1−α1 - \alpha,按"双侧各留 α/2\alpha/2"(双侧区间)或"单侧留 α\alpha"(单侧区间)写出概率等式,如 P{a<G<b}=1−αP\{a < G < b\} = 1 - \alpha;
  3. 解不等式:把 {a<G<b}\{a < G < b\} 中不等式等价变形为 {θ^1<θ<θ^2}\{\hat\theta_1 < \theta < \hat\theta_2\},即得置信区间。

正态总体 N(μ,σ2)N(\mu, \sigma^2) 参数的置信区间公式表(α\alpha 为显著性水平,置信度 1−α1 - \alpha;zαz_\alpha 即 N(0,1)N(0,1) 上 α\alpha 分位点,满足 Φ(zα)=1−α\Phi(z_\alpha) = 1 - \alpha):

待估参数条件枢轴量及其分布置信度为 1−α1-\alpha 的双侧置信区间单侧上限 / 下限(置信度 1−α1-\alpha)
μ\muσ2\sigma^2 已知Xˉ−μσ/n∼N(0,1)\dfrac{\bar X - \mu}{\sigma / \sqrt n} \sim N(0,1)(Xˉ±σnzα/2)\left( \bar X \pm \dfrac{\sigma}{\sqrt n} z_{\alpha/2} \right)下限 Xˉ−σnzα\bar X - \dfrac{\sigma}{\sqrt n} z_\alpha;上限 Xˉ+σnzα\bar X + \dfrac{\sigma}{\sqrt n} z_\alpha
μ\muσ2\sigma^2 未知Xˉ−μS/n∼t(n−1)\dfrac{\bar X - \mu}{S / \sqrt n} \sim t(n-1)(Xˉ±Sntα/2(n−1))\left( \bar X \pm \dfrac{S}{\sqrt n} t_{\alpha/2}(n-1) \right)下限 Xˉ−Sntα(n−1)\bar X - \dfrac{S}{\sqrt n} t_\alpha(n-1);上限 Xˉ+Sntα(n−1)\bar X + \dfrac{S}{\sqrt n} t_\alpha(n-1)
σ2\sigma^2μ\mu 未知(n−1)S2σ2∼χ2(n−1)\dfrac{(n-1)S^2}{\sigma^2} \sim \chi^2(n-1)((n−1)S2χα/22(n−1), (n−1)S2χ1−α/22(n−1))\left( \dfrac{(n-1)S^2}{\chi^2_{\alpha/2}(n-1)},\ \dfrac{(n-1)S^2}{\chi^2_{1-\alpha/2}(n-1)} \right)上限 (n−1)S2χ1−α2(n−1)\dfrac{(n-1)S^2}{\chi^2_{1-\alpha}(n-1)};下限 (n−1)S2χα2(n−1)\dfrac{(n-1)S^2}{\chi^2_\alpha(n-1)}
σ2\sigma^2μ\mu 已知∑i=1n(Xi−μ)2σ2∼χ2(n)\dfrac{\sum\limits_{i=1}^n (X_i - \mu)^2}{\sigma^2} \sim \chi^2(n)(∑(Xi−μ)2χα/22(n), ∑(Xi−μ)2χ1−α/22(n))\left( \dfrac{\sum (X_i - \mu)^2}{\chi^2_{\alpha/2}(n)},\ \dfrac{\sum (X_i - \mu)^2}{\chi^2_{1-\alpha/2}(n)} \right)上限 ∑(Xi−μ)2χ1−α2(n)\dfrac{\sum (X_i - \mu)^2}{\chi^2_{1-\alpha}(n)};下限 ∑(Xi−μ)2χα2(n)\dfrac{\sum (X_i - \mu)^2}{\chi^2_\alpha(n)}

表中 χ2\chi^2 行的两个易错点必须单独强调:

  1. 上下限顺序:由 P{χ1−α/22<(n−1)S2σ2<χα/22}=1−αP\left\{ \chi^2_{1-\alpha/2} < \dfrac{(n-1)S^2}{\sigma^2} < \chi^2_{\alpha/2} \right\} = 1 - \alpha 出发取倒数(不等号反向),得 (n−1)S2χα/22<σ2<(n−1)S2χ1−α/22\dfrac{(n-1)S^2}{\chi^2_{\alpha/2}} < \sigma^2 < \dfrac{(n-1)S^2}{\chi^2_{1-\alpha/2}}——大的分位点 χα/22\chi^2_{\alpha/2} 对应下限,这直觉上"反常",靠推导记忆而不是死记;
  2. 精度不对称:χ2\chi^2 分布不对称,双侧区间两侧概率各 α/2\alpha/2 但端点不对称,这是它与 N(0,1)N(0,1)、tt(对称分布)的最大区别。

样本量确定:σ2\sigma^2 已知时均值双侧区间长度 L=2σzα/2nL = \dfrac{2\sigma z_{\alpha/2}}{\sqrt n},若要求 L≤lL \le l,则 n≥(2σzα/2l)2n \ge \left( \dfrac{2\sigma z_{\alpha/2}}{l} \right)^2(向上取整)。

例题

例 1(矩估计,模拟题):设总体 XX 的密度 f(x;θ)={θxθ−1,0<x<10,其他f(x; \theta) = \begin{cases} \theta x^{\theta - 1}, & 0 < x < 1 \\ 0, & \text{其他} \end{cases}(θ>0\theta > 0 未知),X1,…,XnX_1, \dots, X_n 为样本。求 θ\theta 的矩估计量。

解析:一个参数,一个方程。

第一步算总体一阶矩:

E(X)=∫01x⋅θxθ−1 dx=θ∫01xθ dx=θθ+1.E(X) = \int_0^1 x \cdot \theta x^{\theta - 1}\, dx = \theta \int_0^1 x^\theta\, dx = \frac{\theta}{\theta + 1}.

第二步令其等于样本均值:θθ+1=Xˉ\dfrac{\theta}{\theta+1} = \bar X。第三步解出:

θXˉ+Xˉ=θ ⇒ θ^=Xˉ1−Xˉ.\theta \bar X + \bar X = \theta \ \Rightarrow\ \hat\theta = \frac{\bar X}{1 - \bar X}.

要点:矩估计"三步走"——算矩、令等、解方程;积分是幂函数积分,别被参数吓住。

例 2(离散型最大似然,模拟题):设总体 X∼B(1,p)X \sim B(1, p)(两点分布),P{X=1}=pP\{X = 1\} = p。样本观测值为 x1,…,xn∈{0,1}x_1, \dots, x_n \in \{0, 1\},求 pp 的最大似然估计。

解析:

第一步写似然:分布律 P{X=x}=px(1−p)1−xP\{X = x\} = p^x (1-p)^{1-x},故

L(p)=∏i=1npxi(1−p)1−xi=p∑xi(1−p)n−∑xi.L(p) = \prod_{i=1}^n p^{x_i}(1-p)^{1 - x_i} = p^{\sum x_i} (1 - p)^{n - \sum x_i}.

第二步取对数:ln⁡L=(∑xi)ln⁡p+(n−∑xi)ln⁡(1−p)\ln L = \left(\sum x_i\right)\ln p + \left(n - \sum x_i\right)\ln(1 - p)。

第三步求导置零:

∂ln⁡L∂p=∑xip−n−∑xi1−p=0 ⇒ p^=1n∑i=1nxi=xˉ.\frac{\partial \ln L}{\partial p} = \frac{\sum x_i}{p} - \frac{n - \sum x_i}{1 - p} = 0 \ \Rightarrow\ \hat p = \frac{1}{n}\sum_{i=1}^n x_i = \bar x.

第四步:∂2ln⁡L∂p2<0\dfrac{\partial^2 \ln L}{\partial p^2} < 0,确为最大值。最大似然估计量为 p^=Xˉ\hat p = \bar X——频率就是概率的 MLE(与伯努利大数定律"频率稳定于概率"互为印证)。泊松总体的 MLE 同样是 λ^=Xˉ\hat\lambda = \bar X(自测第 4 题练手)。

例 3(连续型最大似然,模拟题):设总体 XX 的密度 f(x;θ)={(θ+1)xθ,0<x<10,其他f(x; \theta) = \begin{cases} (\theta + 1)x^{\theta}, & 0 < x < 1 \\ 0, & \text{其他} \end{cases}(θ>−1\theta > -1 未知)。求 θ\theta 的最大似然估计量。

解析:

L(θ)=∏i=1n(θ+1)xiθ=(θ+1)n∏i=1nxiθ=(θ+1)n(∏i=1nxi)θ,L(\theta) = \prod_{i=1}^n (\theta + 1) x_i^\theta = (\theta+1)^n \prod_{i=1}^n x_i^\theta = (\theta+1)^n \left(\prod_{i=1}^n x_i\right)^{\theta},

ln⁡L=nln⁡(θ+1)+θ∑i=1nln⁡xi.\ln L = n\ln(\theta + 1) + \theta \sum_{i=1}^{n} \ln x_i.

令 dln⁡Ldθ=nθ+1+∑ln⁡xi=0\dfrac{d\ln L}{d\theta} = \dfrac{n}{\theta+1} + \sum \ln x_i = 0,解得

θ^=−n∑i=1nln⁡xi−1=−1−n∑ln⁡xi.\hat\theta = -\frac{n}{\sum\limits_{i=1}^n \ln x_i} - 1 = -1 - \frac{n}{\sum \ln x_i}.

由 d2ln⁡Ldθ2=−n(θ+1)2<0\dfrac{d^2 \ln L}{d\theta^2} = -\dfrac{n}{(\theta+1)^2} < 0 确认最大值。要点:密度含 xθx^\theta 型因子时,取对数后 ln⁡xi\ln x_i 自然出现,∑ln⁡xi\sum \ln x_i 是一个整体统计量,不要试图拆开。

例 4(无偏性与有效性判定,模拟题):设 X1,…,XnX_1, \dots, X_n 来自总体 XX,E(X)=μE(X) = \mu,D(X)=σ2D(X) = \sigma^2 存在。判断下列说法正误:

(a)Xˉ\bar X 是 μ\mu 的无偏估计且比 X1X_1 有效;

(b)S2S^2 是 σ2\sigma^2 的无偏估计;

(c)Sn2=1n∑(Xi−Xˉ)2S_n^2 = \dfrac1n \sum (X_i - \bar X)^2 是 σ2\sigma^2 的无偏估计。

解析:

(a)正确。E(Xˉ)=μE(\bar X) = \mu,D(Xˉ)=σ2n≤σ2=D(X1)D(\bar X) = \dfrac{\sigma^2}{n} \le \sigma^2 = D(X_1)。

(b)正确。E(S2)=σ2E(S^2) = \sigma^2,推导见第 6 章恒等式部分(本质原因是离差平方和的期望为 (n−1)σ2(n-1)\sigma^2,除 n−1n-1 恰好无偏)。

(c)错误。E(Sn2)=n−1nσ2<σ2E(S_n^2) = \dfrac{n-1}{n}\sigma^2 < \sigma^2,系统性偏小,是有偏估计(但渐近无偏且相合)。这正是样本方差分母取 n−1n-1 的原因——修正被 Xˉ\bar X 消耗掉的一个自由度。

例 5(置信区间,σ\sigma 未知求 μ\mu,模拟题):某零件长度 X∼N(μ,σ2)X \sim N(\mu, \sigma^2),σ\sigma 未知。抽取 n=16n = 16 件,测得 xˉ=20\bar x = 20(毫米),s=1.5s = 1.5。求 μ\mu 的置信度为 0.950.95 的置信区间(已知 t0.025(15)=2.1315t_{0.025}(15) = 2.1315)。

解析:σ\sigma 未知 → 枢轴量 Xˉ−μS/n∼t(15)\dfrac{\bar X - \mu}{S/\sqrt n} \sim t(15),双侧区间为 xˉ±snt0.025(15)\bar x \pm \dfrac{s}{\sqrt n} t_{0.025}(15):

20±1.54×2.1315=20±0.799,20 \pm \frac{1.5}{4} \times 2.1315 = 20 \pm 0.799,

置信区间为 (19.20, 20.80)(19.20,\ 20.80)。若题目改为求单侧置信下限(如"平均长度至少是多少"),则套单侧公式 xˉ−snt0.05(15)\bar x - \dfrac{s}{\sqrt n}t_{0.05}(15)——注意单侧用 t0.05(15)t_{0.05}(15) 而非 t0.025(15)t_{0.025}(15),全部 α\alpha 集中在一侧。

例 6(方差置信区间,模拟题):续上例,求 σ2\sigma^2 的置信度为 0.950.95 的置信区间(已知 n=16n = 16,s2=2.25s^2 = 2.25,χ0.0252(15)=27.488\chi^2_{0.025}(15) = 27.488,χ0.9752(15)=6.262\chi^2_{0.975}(15) = 6.262)。

解析:枢轴量 15S2σ2∼χ2(15)\dfrac{15 S^2}{\sigma^2} \sim \chi^2(15),双侧区间

(15s2χ0.0252(15), 15s2χ0.9752(15))=(15×2.2527.488, 15×2.256.262)≈(1.23, 5.39).\left( \frac{15 s^2}{\chi^2_{0.025}(15)},\ \frac{15 s^2}{\chi^2_{0.975}(15)} \right) = \left( \frac{15 \times 2.25}{27.488},\ \frac{15 \times 2.25}{6.262} \right) \approx (1.23,\ 5.39).

要点:验算端点顺序——分母大(27.488)的端是下限 1.23,分母小(6.262)的端是上限 5.39,"大分点对应下限"不可弄反。

常见坑

  1. 矩估计中"用方差列方程时样本端写错":总体端是 D(X)D(X) 时,样本端应取 B2B_2(分母 nn),不是 S2S^2;若题目指定用 S2S^2 表达,须乘 n−1n\dfrac{n-1}{n}。
  2. 似然函数漏掉取值范围约束:均匀分布等"截断型"密度中,0≤xi≤θ0 \le x_i \le \theta 这类约束是似然函数定义域的一部分,漏掉会导致求导结果错误(甚至无解)。此类题最大值通常在边界,导数法失效。
  3. MLE 的 σ^2\hat\sigma^2 与 S2S^2 混淆:正态总体 MLE σ^2=1n∑(Xi−Xˉ)2\hat\sigma^2 = \dfrac1n \sum (X_i - \bar X)^2(有偏),S2=1n−1∑(Xi−Xˉ)2S^2 = \dfrac{1}{n-1}\sum(X_i - \bar X)^2(无偏)。题目问谁就答谁,别"顺手修正"。
  4. 有效性的前提是无偏:比较有效性必须先确认两者都无偏;拿一个无偏和一个有偏的估计量直接比方差没有意义。
  5. 置信区间的"错误概率解释":1−α1 - \alpha 是"区间盖住 θ\theta"的频率保证,不是"θ\theta 以概率 1−α1-\alpha 落在区间内"——θ\theta 是常数不是随机变量。
  6. zz 与 tt 的选择:σ\sigma 已知用 N(0,1)N(0,1)(zα/2z_{\alpha/2}),σ\sigma 未知用 t(n−1)t(n-1);大样本(n≥30n \ge 30)时 t≈zt \approx z 可近似,但小样本绝不能混用。tt 分位点数值比 zz 大,误用 zz 会把区间算窄。
  7. χ2\chi^2 区间端点颠倒:χ1−α/22<χα/22\chi^2_{1-\alpha/2} < \chi^2_{\alpha/2},而置信区间是 ((n−1)S2χα/22, (n−1)S2χ1−α/22)\left( \dfrac{(n-1)S^2}{\chi^2_{\alpha/2}},\ \dfrac{(n-1)S^2}{\chi^2_{1-\alpha/2}} \right)——"大分点在分母的端是下限"。考前重推一遍取倒数的不等号反向过程。

自测

  1. 总体 X∼U(a,b)X \sim U(a, b)(a,ba, b 均未知),n=12n = 12,xˉ=10\bar x = 10,B2=4B_2 = 4,求 a,ba, b 的矩估计值。
  2. 总体 X∼U(0,θ)X \sim U(0, \theta),求 θ\theta 的矩估计量,并与 MLE θ^=X(n)\hat\theta = X_{(n)} 对比。
  3. 设 θ^1,θ^2\hat\theta_1, \hat\theta_2 均为 θ\theta 的无偏估计,D(θ^1)=2σ02D(\hat\theta_1) = 2\sigma_0^2,D(θ^2)=σ02D(\hat\theta_2) = \sigma_0^2,且相互独立。构造形如 aθ^1+bθ^2a\hat\theta_1 + b\hat\theta_2 的无偏估计,问 a,ba, b 取何值时方差最小。
  4. 总体 X∼P(λ)X \sim P(\lambda)(泊松),P{X=k}=λke−λk!P\{X = k\} = \dfrac{\lambda^k e^{-\lambda}}{k!},求 λ\lambda 的最大似然估计量,并与矩估计比较。
  5. 总体 X∼N(μ,σ2)X \sim N(\mu, \sigma^2),μ,σ2\mu, \sigma^2 均未知,推导 μ,σ2\mu, \sigma^2 的最大似然估计量。

自测答案

  1. a^=xˉ−3B2=10−12≈6.54\hat a = \bar x - \sqrt{3 B_2} = 10 - \sqrt{12} \approx 6.54,b^=10+12≈13.46\hat b = 10 + \sqrt{12} \approx 13.46(3B2=3×4=12=23≈3.46\sqrt{3B_2} = \sqrt{3 \times 4} = \sqrt{12} = 2\sqrt3 \approx 3.46)。
  2. 矩估计:E(X)=θ2=Xˉ⇒θ^矩=2XˉE(X) = \dfrac\theta2 = \bar X \Rightarrow \hat\theta_{矩} = 2\bar X。MLE:θ^=X(n)\hat\theta = X_{(n)}(推导见正文例 4)。两者都无偏吗?E(2Xˉ)=θE(2\bar X) = \theta 无偏;E(X(n))=nn+1θE(X_{(n)}) = \dfrac{n}{n+1}\theta 有偏。但 D(X(n)))D(X_{(n)})) 更小,MLE 整体上更优——"无偏"不等于"处处更好"。
  3. 无偏要求 a+b=1a + b = 1(E[aθ^1+bθ^2]=(a+b)θE[a\hat\theta_1 + b\hat\theta_2] = (a+b)\theta)。独立性下 D(aθ^1+bθ^2)=2a2σ02+b2σ02D(a\hat\theta_1 + b\hat\theta_2) = 2a^2\sigma_0^2 + b^2\sigma_0^2,代入 b=1−ab = 1 - a 后对 aa 求导置零:4a−2(1−a)=0⇒a=134a - 2(1-a) = 0 \Rightarrow a = \dfrac13,b=23b = \dfrac23。最小方差为 23σ02\dfrac{2}{3}\sigma_0^2。方差小的估计量占更大权重,权重反比于方差(这正是最小方差线性组合的结构)。
  4. L(λ)=∏λxie−λxi!=λ∑xie−nλ∏xi!L(\lambda) = \prod \dfrac{\lambda^{x_i} e^{-\lambda}}{x_i!} = \dfrac{\lambda^{\sum x_i} e^{-n\lambda}}{\prod x_i!},ln⁡L=∑xiln⁡λ−nλ−∑ln⁡(xi!)\ln L = \sum x_i \ln\lambda - n\lambda - \sum \ln(x_i!),dln⁡Ldλ=∑xiλ−n=0⇒λ^=Xˉ\dfrac{d\ln L}{d\lambda} = \dfrac{\sum x_i}{\lambda} - n = 0 \Rightarrow \hat\lambda = \bar X。矩估计:E(X)=λ=XˉE(X) = \lambda = \bar X,两者一致。泊松、指数(1/Xˉ1/\bar X)、二项(Xˉ\bar X)这些单参数分布的 MLE 与矩估计高度重合,属"送分配置"。
  5. ln⁡L=−n2ln⁡(2π)−nln⁡σ−12σ2∑(xi−μ)2\ln L = -\dfrac{n}{2}\ln(2\pi) - n\ln\sigma - \dfrac{1}{2\sigma^2}\sum (x_i - \mu)^2。对 μ\mu 求导置零:1σ2∑(xi−μ)=0⇒μ^=xˉ\dfrac{1}{\sigma^2}\sum (x_i - \mu) = 0 \Rightarrow \hat\mu = \bar x。代回后对 σ\sigma(或 σ2\sigma^2)求导置零:−nσ+∑(xi−xˉ)2σ3=0⇒σ^2=1n∑(xi−xˉ)2-\dfrac{n}{\sigma} + \dfrac{\sum(x_i - \bar x)^2}{\sigma^3} = 0 \Rightarrow \hat\sigma^2 = \dfrac1n \sum (x_i - \bar x)^2。注意 MLE 的 σ^2\hat\sigma^2 分母是 nn,有偏;无偏版本是 S2S^2(分母 n−1n-1)。