大数定律与中心极限定理

考点定位

  • 大纲位置:概率论与数理统计 · 大数定律和中心极限定理(数一、数三公共考点;数二不考概率论)
  • 常见题型:切比雪夫不等式估计概率界;依概率收敛的判定与辨析;三个大数定律的条件辨析(选择题高频);中心极限定理近似计算(二项分布概率、供电/抽检类应用);由频率估计概率时确定样本量
  • 考查频率:中。以选择、填空为主,大数定律条件辨析与切比雪夫不等式是选择题常客;中心极限定理偶与统计应用结合出解答题
  • 前置知识:随机变量的数字特征(期望、方差、协方差);随机变量及其分布(二项分布、正态分布、分布函数);极限语言可回看函数、极限与连续
  • 定位:本章是概率论的"收官定理群"——大数定律把"频率稳定于概率"这句直觉严格化,是第 7 章参数估计中矩估计合法性的理论依据;中心极限定理回答"为什么正态分布无处不在",是第 6 章数理统计的基本概念中默认正态近似的来源。用工程师的话说:大数定律是"均值收敛",中心极限定理是"误差的分布形状"。

核心讲解

依概率收敛

定义(依概率收敛):设 X1,X2,…X_1, X_2, \dots 是一个随机变量序列,XX 是一个随机变量(可为常数)。若对任意 ε>0\varepsilon > 0,都有

lim⁡n→∞P{∣Xn−X∣≥ε}=0,\lim_{n \to \infty} P\left\{ \left| X_n - X \right| \ge \varepsilon \right\} = 0,

则称序列 {Xn}\{X_n\} 依概率收敛于 XX,记作 Xn→PXX_n \xrightarrow{P} X。

与微积分中普通收敛 xn→xx_n \to x 的本质区别:普通收敛要求 nn 充分大后每个 xnx_n 都接近 xx;依概率收敛只要求"偏离超过 ε\varepsilon"这一事件的概率趋于 0,允许个别 XnX_n 大幅偏离,只要偏离的发生概率越来越小。这正是"随机版极限"的合理定义。

运算性质(与普通极限类似,考试可直接使用):若 Xn→PaX_n \xrightarrow{P} a,Yn→PbY_n \xrightarrow{P} b,则

Xn±Yn→Pa±b,XnYn→Pab,XnYn→Pab (b≠0).X_n \pm Y_n \xrightarrow{P} a \pm b, \qquad X_n Y_n \xrightarrow{P} ab, \qquad \frac{X_n}{Y_n} \xrightarrow{P} \frac{a}{b} \ (b \ne 0).

切比雪夫不等式

定理(切比雪夫不等式):设随机变量 XX 的数学期望 E(X)=μE(X) = \mu 与方差 D(X)=σ2D(X) = \sigma^2 存在,则对任意 ε>0\varepsilon > 0,

P{∣X−μ∣≥ε}≤σ2ε2,等价地P{∣X−μ∣<ε}≥1−σ2ε2.P\left\{ \left| X - \mu \right| \ge \varepsilon \right\} \le \frac{\sigma^2}{\varepsilon^2}, \qquad \text{等价地} \qquad P\left\{ \left| X - \mu \right| < \varepsilon \right\} \ge 1 - \frac{\sigma^2}{\varepsilon^2}.

证明思路(以连续型为例):设 XX 的密度为 f(x)f(x),则

P{∣X−μ∣≥ε}=∫∣x−μ∣≥εf(x) dx≤∫∣x−μ∣≥ε(x−μ)2ε2f(x) dx≤1ε2∫−∞+∞(x−μ)2f(x) dx=σ2ε2.P\{|X - \mu| \ge \varepsilon\} = \int_{|x - \mu| \ge \varepsilon} f(x)\, dx \le \int_{|x - \mu| \ge \varepsilon} \frac{(x - \mu)^2}{\varepsilon^2} f(x)\, dx \le \frac{1}{\varepsilon^2}\int_{-\infty}^{+\infty}(x - \mu)^2 f(x)\, dx = \frac{\sigma^2}{\varepsilon^2}.

第二步放大用了在积分区域上 (x−μ)2≥ε2(x-\mu)^2 \ge \varepsilon^2;离散型把积分换成求和,完全同理。

意义:只知道期望和方差(甚至不必知道具体分布),就能给出"偏离中心"概率的上界。它是证明切比雪夫大数定律的工具,也是"估计概率界"类题的直接考点。

三个大数定律

三个大数定律的统一框架:研究"算术平均 1n∑i=1nXi\dfrac{1}{n}\sum\limits_{i=1}^{n} X_i"在什么条件下依概率收敛到"期望的平均"。

定理(切比雪夫大数定律):设 X1,X2,…X_1, X_2, \dots 相互独立,各自的期望 E(Xi)=μiE(X_i) = \mu_i 与方差 D(Xi)=σi2D(X_i) = \sigma_i^2 存在,且方差一致有界(存在常数 CC,使 σi2≤C\sigma_i^2 \le C 对一切 ii 成立),则对任意 ε>0\varepsilon > 0,

lim⁡n→∞P{∣1n∑i=1nXi−1n∑i=1nμi∣≥ε}=0.\lim_{n \to \infty} P\left\{ \left| \frac{1}{n}\sum_{i=1}^{n} X_i - \frac{1}{n}\sum_{i=1}^{n} \mu_i \right| \ge \varepsilon \right\} = 0.

证明思路:记 Yn=1n∑i=1nXiY_n = \dfrac{1}{n}\sum\limits_{i=1}^n X_i,则 E(Yn)=1n∑μiE(Y_n) = \dfrac{1}{n}\sum \mu_i,由独立性 D(Yn)=1n2∑σi2≤CnD(Y_n) = \dfrac{1}{n^2}\sum \sigma_i^2 \le \dfrac{C}{n},再用切比雪夫不等式:

P{∣Yn−E(Yn)∣≥ε}≤C/nε2→0.P\{|Y_n - E(Y_n)| \ge \varepsilon\} \le \frac{C/n}{\varepsilon^2} \to 0.

定理(辛钦大数定律):设 X1,X2,…X_1, X_2, \dots 独立同分布,且期望存在 E(Xi)=μE(X_i) = \mu,则对任意 ε>0\varepsilon > 0,

lim⁡n→∞P{∣1n∑i=1nXi−μ∣≥ε}=0.\lim_{n \to \infty} P\left\{ \left| \frac{1}{n}\sum_{i=1}^{n} X_i - \mu \right| \ge \varepsilon \right\} = 0.

注意:辛钦大数定律不要求方差存在(这是它与切比雪夫路线的本质差异——它不是用切比雪夫不等式证明的,而是用特征函数/截尾方法证明的)。它也不要求同分布的方差一致有界这一类条件,代价是要求同分布。

定理(伯努利大数定律):设 nAn_A 为 nn 重伯努利试验中事件 AA 发生的次数,p=P(A)p = P(A),则对任意 ε>0\varepsilon > 0,

lim⁡n→∞P{∣nAn−p∣≥ε}=0.\lim_{n \to \infty} P\left\{ \left| \frac{n_A}{n} - p \right| \ge \varepsilon \right\} = 0.

伯努利大数定律是辛钦大数定律的特例:令 XiX_i 为第 ii 次试验中 AA 是否发生的 0-1 变量,则 XiX_i 独立同分布、E(Xi)=pE(X_i) = p,且 nAn=1n∑Xi\dfrac{n_A}{n} = \dfrac{1}{n}\sum X_i。

三大定律条件差异对比表(选择题的命题富矿):

定律独立性同分布期望方差结论中的收敛目标
切比雪夫相互独立不要求各自存在 μi\mu_i存在且一致有界1n∑Xi→P1n∑μi\dfrac{1}{n}\sum X_i \xrightarrow{P} \dfrac{1}{n}\sum \mu_i
辛钦相互独立要求存在(共同的 μ\mu)不要求存在1n∑Xi→Pμ\dfrac{1}{n}\sum X_i \xrightarrow{P} \mu
伯努利相互独立要求(0-1 型)E(Xi)=pE(X_i) = pp(1−p)p(1-p) 天然有界频率 nAn→Pp\dfrac{n_A}{n} \xrightarrow{P} p

各自的意义:

  1. 切比雪夫:不要求同分布,说明大数定律的力量来自"独立性 + 方差不爆炸",算术平均把方差压缩到 1n\dfrac{1}{n} 量级;
  2. 辛钦:这是算术平均稳定于期望的最常用版本,是第 7 章矩估计法合法性的理论依据(样本矩依概率收敛于总体矩),也是 Xˉ\bar X 作为 μ\mu 的相合估计的依据;
  3. 伯努利:"频率稳定于概率"的严格表述,是"用频率估计概率"(如蒙特卡洛方法、A/B 测试)的理论基础。

依分布收敛与中心极限定理

定义(依分布收敛):若在 F(x)F(x) 的连续点处都有 lim⁡n→∞Fn(x)=F(x)\lim\limits_{n\to\infty} F_n(x) = F(x),则称 XnX_n 依分布收敛于 XX,记 Xn→LXX_n \xrightarrow{L} X。依概率收敛强于依分布收敛(Xn→PX⇒Xn→LXX_n \xrightarrow{P} X \Rightarrow X_n \xrightarrow{L} X,反之不真),了解该关系即可,考试不深究。

定理(列维-林德伯格定理,独立同分布中心极限定理):设 X1,X2,…X_1, X_2, \dots 独立同分布,E(Xi)=μE(X_i) = \mu,D(Xi)=σ2>0D(X_i) = \sigma^2 > 0,则对任意实数 xx,

lim⁡n→∞P{∑i=1nXi−nμn σ≤x}=Φ(x)=12π∫−∞xe−t22 dt.\lim_{n \to \infty} P\left\{ \frac{\sum_{i=1}^{n} X_i - n\mu}{\sqrt{n}\,\sigma} \le x \right\} = \Phi(x) = \frac{1}{\sqrt{2\pi}}\int_{-\infty}^{x} e^{-\frac{t^2}{2}}\, dt.

即:无论 XiX_i 本身服从什么分布(均匀、指数、两点……),只要独立同分布、方差有限,其和的标准化在 nn 较大时都近似服从标准正态分布。工程上这就是"大量独立微小噪声叠加呈高斯"的数学根据。

定理(棣莫弗-拉普拉斯定理):设 Xn∼B(n,p)X_n \sim B(n, p)(0<p<10 < p < 1),nn 充分大时,近似地有

Xn−npnp(1−p)∼N(0,1),即P{Xn≤k}≈Φ(k−npnp(1−p)).\frac{X_n - np}{\sqrt{np(1-p)}} \sim N(0, 1), \quad \text{即} \quad P\{X_n \le k\} \approx \Phi\left( \frac{k - np}{\sqrt{np(1-p)}} \right).

它是列维-林德伯格定理的特例(XnX_n 是 nn 个 0-1 变量之和),专用于二项分布的近似计算。适用条件经验值:np≥5np \ge 5 且 n(1−p)≥5n(1-p) \ge 5。

使用流程(近似计算题的固定套路):

  1. 判断总量 XX 是"独立同分布之和"或二项分布;
  2. 计算 E(X)=nμE(X) = n\mu(或 npnp)、D(X)=nσ\sqrt{D(X)} = \sqrt{n}\sigma(或 np(1−p)\sqrt{np(1-p)});
  3. 标准化,把所求概率化为 Φ\Phi 在若干点的值,查表(常用值:Φ(1.645)≈0.95\Phi(1.645) \approx 0.95,Φ(1.96)≈0.975\Phi(1.96) \approx 0.975,Φ(2.33)≈0.99\Phi(2.33) \approx 0.99,Φ(2.58)≈0.995\Phi(2.58) \approx 0.995)。

例题

例 1(切比雪夫不等式估计概率界,模拟题):已知随机变量 XX 的期望 E(X)=1E(X) = 1,方差 D(X)=0.04D(X) = 0.04,用切比雪夫不等式估计 P{0.5<X<1.5}P\{0.5 < X < 1.5\} 的下界。

解析:{0.5<X<1.5}={∣X−E(X)∣<0.5}\{0.5 < X < 1.5\} = \{|X - E(X)| < 0.5\},取 ε=0.5\varepsilon = 0.5,由切比雪夫不等式

P{0.5<X<1.5}≥1−0.040.52=1−0.16=0.84.P\{0.5 < X < 1.5\} \ge 1 - \frac{0.04}{0.5^2} = 1 - 0.16 = 0.84.

要点:先把事件改写成"∣X−E(X)∣<ε|X - E(X)| < \varepsilon"的形式再套公式,ε\varepsilon 是区间半径而不是区间长度。

例 2(中心极限定理近似计算,模拟题):某车间有 100 台机床,彼此独立工作,每台开工概率为 0.60.6,开工时每台耗电 11 千瓦。问至少供电多少千瓦,才能以 99%99\% 以上的概率保证不超载?

解析:设同时开工的机床数为 XX,则 X∼B(100, 0.6)X \sim B(100,\ 0.6),需找最小整数 xx 使 P{X≤x}≥0.99P\{X \le x\} \ge 0.99。

np=60np = 60,np(1−p)=24np(1-p) = 24,24≈4.899\sqrt{24} \approx 4.899。由棣莫弗-拉普拉斯定理:

P{X≤x}≈Φ(x−604.899)≥0.99.P\{X \le x\} \approx \Phi\left( \frac{x - 60}{4.899} \right) \ge 0.99.

查表 Φ(2.33)=0.9901≥0.99\Phi(2.33) = 0.9901 \ge 0.99,故需 x−604.899≥2.33\dfrac{x - 60}{4.899} \ge 2.33,即 x≥60+2.33×4.899≈71.4x \ge 60 + 2.33 \times 4.899 \approx 71.4。取整数得 x=72x = 72,即至少供电 72 千瓦。

要点:这是"已知概率反求临界值"型,方向是"标准化量 ≥\ge 分位点",注意向上取整。

例 3(频率估计概率、两种方法对比,模拟题):某厂产品次品率 pp 未知。独立有放回抽取 nn 件,以次品频率 nAn\dfrac{n_A}{n} 估计 pp。欲使 P{∣nAn−p∣<0.05}≥0.95P\left\{ \left| \dfrac{n_A}{n} - p \right| < 0.05 \right\} \ge 0.95:

(1)用切比雪夫不等式估计所需样本量 nn;

(2)用中心极限定理估计所需样本量 nn,并比较两种结果。

解析:nAn\dfrac{n_A}{n} 的期望为 pp,方差为 p(1−p)n≤14n\dfrac{p(1-p)}{n} \le \dfrac{1}{4n}(因 p(1−p)≤14p(1-p) \le \tfrac14,pp 未知时必须用此上界)。

(1)切比雪夫不等式:

P{∣nAn−p∣<0.05}≥1−p(1−p)/n0.052≥1−14n×0.0025.P\left\{ \left| \frac{n_A}{n} - p \right| < 0.05 \right\} \ge 1 - \frac{p(1-p)/n}{0.05^2} \ge 1 - \frac{1}{4n \times 0.0025}.

要求右端 ≥0.95\ge 0.95,即 10.01n≤0.05\dfrac{1}{0.01 n} \le 0.05,解得 n≥10.01×0.05=2000n \ge \dfrac{1}{0.01 \times 0.05} = 2000。

(2)中心极限定理(nn 大时 nAn\dfrac{n_A}{n} 近似正态):

P{∣nAn−p∣<0.05}≈2Φ(0.05np(1−p))−1≥2Φ(0.1n)−1.P\left\{ \left| \frac{n_A}{n} - p \right| < 0.05 \right\} \approx 2\Phi\left( \frac{0.05\sqrt{n}}{\sqrt{p(1-p)}} \right) - 1 \ge 2\Phi(0.1\sqrt{n}) - 1.

要求 Φ(0.1n)≥0.975\Phi(0.1\sqrt{n}) \ge 0.975,即 0.1n≥1.960.1\sqrt{n} \ge 1.96,n≥384.16n \ge 384.16,取 n=385n = 385。

结论:中心极限定理给出 n=385n = 385,远小于切比雪夫的 20002000。原因:切比雪夫只用方差信息,给出的界非常保守;中心极限定理利用了完整分布形状,界紧得多。这也是"切比雪夫不等式只能用于定性/保守估计"的直观体验。

常见坑

  1. 辛钦与切比雪夫的条件张冠李戴:辛钦要求同分布但不要求方差存在;切比雪夫不要求同分布但要求方差一致有界。"独立同分布 + 方差有界"则两者都适用(此时结论一致)。
  2. 依概率收敛 ≠ 普通收敛:Xn→PXX_n \xrightarrow{P} X 允许 XnX_n 个别取值大幅偏离,只要偏离概率趋于 0。判断"XnX_n 是否必然接近 XX"是错误理解,依概率收敛不排除"偶尔很远"。
  3. 切比雪夫不等式给的是界不是精确值:题目问"估计 P{⋯ }P\{\cdots\}"且只给期望方差时才用它;若给出了具体分布(如正态),应精确计算而非套不等式。
  4. 二项近似中的标准化量写错:B(n,p)B(n,p) 的标准差是 np(1−p)\sqrt{np(1-p)},不是 np\sqrt{np},也不是 np(1−p)np(1-p) 本身。
  5. Φ\Phi 值方向搞反:P{X>x}≈1−Φ(x−npnp(1−p))P\{X > x\} \approx 1 - \Phi\left(\dfrac{x - np}{\sqrt{np(1-p)}}\right);"至少""超过"类事件记得取 1−Φ1-\Phi,负号入内时用 Φ(−a)=1−Φ(a)\Phi(-a) = 1 - \Phi(a)。
  6. 大数定律与中心极限定理的区别:大数定律只说"均值收敛到哪里"(一阶信息),中心极限定理进一步给出"偏差的分布形状是正态"(二阶及以上信息)。考试问"1n∑Xi\dfrac{1}{n}\sum X_i 依概率收敛于什么"答大数定律,问"近似服从什么分布"答中心极限定理。

自测

  1. 设 D(X)=2D(X) = 2,用切比雪夫不等式估计 P{∣X−E(X)∣≥4}P\{|X - E(X)| \ge 4\} 的上界。
  2. 判断:若 X1,X2,…X_1, X_2, \dots 独立同分布且 E(Xi)=μE(X_i) = \mu 存在但方差不存在,则 1n∑i=1nXi→Pμ\dfrac{1}{n}\sum\limits_{i=1}^n X_i \xrightarrow{P} \mu 是否成立?依据是哪个定律?
  3. 设各 XiX_i 独立同分布于 U(−0.5,0.5)U(-0.5, 0.5),计算 100 个数舍入误差之和 S=∑i=1100XiS = \sum_{i=1}^{100} X_i 的近似分布,并求 P{∣S∣>5}P\{|S| > 5\}(已知 Φ(1.73)=0.9582\Phi(1.73) = 0.9582)。
  4. 设 X1,X2,…X_1, X_2, \dots 相互独立,P{Xn=±1}=12(1−1n)P\{X_n = \pm 1\} = \dfrac{1}{2}\left(1 - \dfrac{1}{n}\right),P{Xn=±n}=12nP\{X_n = \pm \sqrt{n}\} = \dfrac{1}{2n}。判断 1n∑i=1nXi\dfrac{1}{n}\sum\limits_{i=1}^{n} X_i 是否依概率收敛于 0(提示:检查期望与方差)。

自测答案

  1. P{∣X−E(X)∣≥4}≤D(X)42=216=18P\{|X - E(X)| \ge 4\} \le \dfrac{D(X)}{4^2} = \dfrac{2}{16} = \dfrac{1}{8}。切比雪夫不等式,方差除以 ε2\varepsilon^2。
  2. 成立,依据辛钦大数定律——它只要求独立同分布且期望存在,不要求方差存在。这正是辛钦强于切比雪夫路线之处。
  3. E(Xi)=0E(X_i) = 0,D(Xi)=112D(X_i) = \dfrac{1}{12},故 E(S)=0E(S) = 0,D(S)=10012=253D(S) = \dfrac{100}{12} = \dfrac{25}{3},D(S)=53≈2.887\sqrt{D(S)} = \dfrac{5}{\sqrt 3} \approx 2.887。由列维-林德伯格定理 SS 近似 ∼N(0,253)\sim N\left(0, \dfrac{25}{3}\right),P{∣S∣>5}≈2[1−Φ(52.887)]=2[1−Φ(1.73)]=2×0.0418=0.0836P\{|S| > 5\} \approx 2\left[1 - \Phi\left(\dfrac{5}{2.887}\right)\right] = 2[1 - \Phi(1.73)] = 2 \times 0.0418 = 0.0836。
  4. E(Xn)=0E(X_n) = 0;E(Xn2)=1n⋅n+(1−1n)⋅1=2−1nE(X_n^2) = \dfrac{1}{n} \cdot n + \left(1 - \dfrac{1}{n}\right) \cdot 1 = 2 - \dfrac{1}{n},故 D(Xn)=E(Xn2)<2D(X_n) = E(X_n^2) < 2 一致有界。由切比雪夫大数定律,1n∑Xi→P0\dfrac{1}{n}\sum X_i \xrightarrow{P} 0,收敛成立。(此题方差不趋于 0,但一致有界即足够。)