大数定律与中心极限定理
考点定位
- 大纲位置:概率论与数理统计 · 大数定律和中心极限定理(数一、数三公共考点;数二不考概率论)
- 常见题型:切比雪夫不等式估计概率界;依概率收敛的判定与辨析;三个大数定律的条件辨析(选择题高频);中心极限定理近似计算(二项分布概率、供电/抽检类应用);由频率估计概率时确定样本量
- 考查频率:中。以选择、填空为主,大数定律条件辨析与切比雪夫不等式是选择题常客;中心极限定理偶与统计应用结合出解答题
- 前置知识:随机变量的数字特征(期望、方差、协方差);随机变量及其分布(二项分布、正态分布、分布函数);极限语言可回看函数、极限与连续
- 定位:本章是概率论的"收官定理群"——大数定律把"频率稳定于概率"这句直觉严格化,是第 7 章参数估计中矩估计合法性的理论依据;中心极限定理回答"为什么正态分布无处不在",是第 6 章数理统计的基本概念中默认正态近似的来源。用工程师的话说:大数定律是"均值收敛",中心极限定理是"误差的分布形状"。
核心讲解
依概率收敛
定义(依概率收敛):设 X1,X2,… 是一个随机变量序列,X 是一个随机变量(可为常数)。若对任意 ε>0,都有
limn→∞P{∣Xn−X∣≥ε}=0,
则称序列 {Xn} 依概率收敛于 X,记作 XnPX。
与微积分中普通收敛 xn→x 的本质区别:普通收敛要求 n 充分大后每个 xn 都接近 x;依概率收敛只要求"偏离超过 ε"这一事件的概率趋于 0,允许个别 Xn 大幅偏离,只要偏离的发生概率越来越小。这正是"随机版极限"的合理定义。
运算性质(与普通极限类似,考试可直接使用):若 XnPa,YnPb,则
Xn±YnPa±b,XnYnPab,YnXnPba (b=0).
切比雪夫不等式
定理(切比雪夫不等式):设随机变量 X 的数学期望 E(X)=μ 与方差 D(X)=σ2 存在,则对任意 ε>0,
P{∣X−μ∣≥ε}≤ε2σ2,等价地P{∣X−μ∣<ε}≥1−ε2σ2.
证明思路(以连续型为例):设 X 的密度为 f(x),则
P{∣X−μ∣≥ε}=∫∣x−μ∣≥εf(x)dx≤∫∣x−μ∣≥εε2(x−μ)2f(x)dx≤ε21∫−∞+∞(x−μ)2f(x)dx=ε2σ2.
第二步放大用了在积分区域上 (x−μ)2≥ε2;离散型把积分换成求和,完全同理。
意义:只知道期望和方差(甚至不必知道具体分布),就能给出"偏离中心"概率的上界。它是证明切比雪夫大数定律的工具,也是"估计概率界"类题的直接考点。
三个大数定律
三个大数定律的统一框架:研究"算术平均 n1i=1∑nXi"在什么条件下依概率收敛到"期望的平均"。
定理(切比雪夫大数定律):设 X1,X2,… 相互独立,各自的期望 E(Xi)=μi 与方差 D(Xi)=σi2 存在,且方差一致有界(存在常数 C,使 σi2≤C 对一切 i 成立),则对任意 ε>0,
limn→∞P{n1∑i=1nXi−n1∑i=1nμi≥ε}=0.
证明思路:记 Yn=n1i=1∑nXi,则 E(Yn)=n1∑μi,由独立性 D(Yn)=n21∑σi2≤nC,再用切比雪夫不等式:
P{∣Yn−E(Yn)∣≥ε}≤ε2C/n→0.
定理(辛钦大数定律):设 X1,X2,… 独立同分布,且期望存在 E(Xi)=μ,则对任意 ε>0,
limn→∞P{n1∑i=1nXi−μ≥ε}=0.
注意:辛钦大数定律不要求方差存在(这是它与切比雪夫路线的本质差异——它不是用切比雪夫不等式证明的,而是用特征函数/截尾方法证明的)。它也不要求同分布的方差一致有界这一类条件,代价是要求同分布。
定理(伯努利大数定律):设 nA 为 n 重伯努利试验中事件 A 发生的次数,p=P(A),则对任意 ε>0,
limn→∞P{nnA−p≥ε}=0.
伯努利大数定律是辛钦大数定律的特例:令 Xi 为第 i 次试验中 A 是否发生的 0-1 变量,则 Xi 独立同分布、E(Xi)=p,且 nnA=n1∑Xi。
三大定律条件差异对比表(选择题的命题富矿):
各自的意义:
- 切比雪夫:不要求同分布,说明大数定律的力量来自"独立性 + 方差不爆炸",算术平均把方差压缩到 n1 量级;
- 辛钦:这是算术平均稳定于期望的最常用版本,是第 7 章矩估计法合法性的理论依据(样本矩依概率收敛于总体矩),也是 Xˉ 作为 μ 的相合估计的依据;
- 伯努利:"频率稳定于概率"的严格表述,是"用频率估计概率"(如蒙特卡洛方法、A/B 测试)的理论基础。
依分布收敛与中心极限定理
定义(依分布收敛):若在 F(x) 的连续点处都有 n→∞limFn(x)=F(x),则称 Xn 依分布收敛于 X,记 XnLX。依概率收敛强于依分布收敛(XnPX⇒XnLX,反之不真),了解该关系即可,考试不深究。
定理(列维-林德伯格定理,独立同分布中心极限定理):设 X1,X2,… 独立同分布,E(Xi)=μ,D(Xi)=σ2>0,则对任意实数 x,
limn→∞P{nσ∑i=1nXi−nμ≤x}=Φ(x)=2π1∫−∞xe−2t2dt.
即:无论 Xi 本身服从什么分布(均匀、指数、两点……),只要独立同分布、方差有限,其和的标准化在 n 较大时都近似服从标准正态分布。工程上这就是"大量独立微小噪声叠加呈高斯"的数学根据。
定理(棣莫弗-拉普拉斯定理):设 Xn∼B(n,p)(0<p<1),n 充分大时,近似地有
np(1−p)Xn−np∼N(0,1),即P{Xn≤k}≈Φ(np(1−p)k−np).
它是列维-林德伯格定理的特例(Xn 是 n 个 0-1 变量之和),专用于二项分布的近似计算。适用条件经验值:np≥5 且 n(1−p)≥5。
使用流程(近似计算题的固定套路):
- 判断总量 X 是"独立同分布之和"或二项分布;
- 计算 E(X)=nμ(或 np)、D(X)=nσ(或 np(1−p));
- 标准化,把所求概率化为 Φ 在若干点的值,查表(常用值:Φ(1.645)≈0.95,Φ(1.96)≈0.975,Φ(2.33)≈0.99,Φ(2.58)≈0.995)。
例题
例 1(切比雪夫不等式估计概率界,模拟题):已知随机变量 X 的期望 E(X)=1,方差 D(X)=0.04,用切比雪夫不等式估计 P{0.5<X<1.5} 的下界。
解析:{0.5<X<1.5}={∣X−E(X)∣<0.5},取 ε=0.5,由切比雪夫不等式
P{0.5<X<1.5}≥1−0.520.04=1−0.16=0.84.
要点:先把事件改写成"∣X−E(X)∣<ε"的形式再套公式,ε 是区间半径而不是区间长度。
例 2(中心极限定理近似计算,模拟题):某车间有 100 台机床,彼此独立工作,每台开工概率为 0.6,开工时每台耗电 1 千瓦。问至少供电多少千瓦,才能以 99% 以上的概率保证不超载?
解析:设同时开工的机床数为 X,则 X∼B(100, 0.6),需找最小整数 x 使 P{X≤x}≥0.99。
np=60,np(1−p)=24,24≈4.899。由棣莫弗-拉普拉斯定理:
P{X≤x}≈Φ(4.899x−60)≥0.99.
查表 Φ(2.33)=0.9901≥0.99,故需 4.899x−60≥2.33,即 x≥60+2.33×4.899≈71.4。取整数得 x=72,即至少供电 72 千瓦。
要点:这是"已知概率反求临界值"型,方向是"标准化量 ≥ 分位点",注意向上取整。
例 3(频率估计概率、两种方法对比,模拟题):某厂产品次品率 p 未知。独立有放回抽取 n 件,以次品频率 nnA 估计 p。欲使 P{nnA−p<0.05}≥0.95:
(1)用切比雪夫不等式估计所需样本量 n;
(2)用中心极限定理估计所需样本量 n,并比较两种结果。
解析:nnA 的期望为 p,方差为 np(1−p)≤4n1(因 p(1−p)≤41,p 未知时必须用此上界)。
(1)切比雪夫不等式:
P{nnA−p<0.05}≥1−0.052p(1−p)/n≥1−4n×0.00251.
要求右端 ≥0.95,即 0.01n1≤0.05,解得 n≥0.01×0.051=2000。
(2)中心极限定理(n 大时 nnA 近似正态):
P{nnA−p<0.05}≈2Φ(p(1−p)0.05n)−1≥2Φ(0.1n)−1.
要求 Φ(0.1n)≥0.975,即 0.1n≥1.96,n≥384.16,取 n=385。
结论:中心极限定理给出 n=385,远小于切比雪夫的 2000。原因:切比雪夫只用方差信息,给出的界非常保守;中心极限定理利用了完整分布形状,界紧得多。这也是"切比雪夫不等式只能用于定性/保守估计"的直观体验。
常见坑
- 辛钦与切比雪夫的条件张冠李戴:辛钦要求同分布但不要求方差存在;切比雪夫不要求同分布但要求方差一致有界。"独立同分布 + 方差有界"则两者都适用(此时结论一致)。
- 依概率收敛 ≠ 普通收敛:XnPX 允许 Xn 个别取值大幅偏离,只要偏离概率趋于 0。判断"Xn 是否必然接近 X"是错误理解,依概率收敛不排除"偶尔很远"。
- 切比雪夫不等式给的是界不是精确值:题目问"估计 P{⋯}"且只给期望方差时才用它;若给出了具体分布(如正态),应精确计算而非套不等式。
- 二项近似中的标准化量写错:B(n,p) 的标准差是 np(1−p),不是 np,也不是 np(1−p) 本身。
- Φ 值方向搞反:P{X>x}≈1−Φ(np(1−p)x−np);"至少""超过"类事件记得取 1−Φ,负号入内时用 Φ(−a)=1−Φ(a)。
- 大数定律与中心极限定理的区别:大数定律只说"均值收敛到哪里"(一阶信息),中心极限定理进一步给出"偏差的分布形状是正态"(二阶及以上信息)。考试问"n1∑Xi 依概率收敛于什么"答大数定律,问"近似服从什么分布"答中心极限定理。
自测
- 设 D(X)=2,用切比雪夫不等式估计 P{∣X−E(X)∣≥4} 的上界。
- 判断:若 X1,X2,… 独立同分布且 E(Xi)=μ 存在但方差不存在,则 n1i=1∑nXiPμ 是否成立?依据是哪个定律?
- 设各 Xi 独立同分布于 U(−0.5,0.5),计算 100 个数舍入误差之和 S=∑i=1100Xi 的近似分布,并求 P{∣S∣>5}(已知 Φ(1.73)=0.9582)。
- 设 X1,X2,… 相互独立,P{Xn=±1}=21(1−n1),P{Xn=±n}=2n1。判断 n1i=1∑nXi 是否依概率收敛于 0(提示:检查期望与方差)。
自测答案
- P{∣X−E(X)∣≥4}≤42D(X)=162=81。切比雪夫不等式,方差除以 ε2。
- 成立,依据辛钦大数定律——它只要求独立同分布且期望存在,不要求方差存在。这正是辛钦强于切比雪夫路线之处。
- E(Xi)=0,D(Xi)=121,故 E(S)=0,D(S)=12100=325,D(S)=35≈2.887。由列维-林德伯格定理 S 近似 ∼N(0,325),P{∣S∣>5}≈2[1−Φ(2.8875)]=2[1−Φ(1.73)]=2×0.0418=0.0836。
- E(Xn)=0;E(Xn2)=n1⋅n+(1−n1)⋅1=2−n1,故 D(Xn)=E(Xn2)<2 一致有界。由切比雪夫大数定律,n1∑XiP0,收敛成立。(此题方差不趋于 0,但一致有界即足够。)