依概率收敛与弱大数定律.doc

§2 依概率收敛与弱大数定律一、依概率收敛二、弱大数定律一、依概率收敛尽管分布函数完全反映了随机变量取值的分布规律, 但是两个不同的随机变量可以有相同的分布函数. 例如, 向区间[0,1]上随机等可能投点,ω 表示落点的位置，定义(),10[.](,5(),01[,.](5. (1)则 ξ 和 η 具有相同的分布函数F(x)=,12/,.,0x(2)如果定义 n, n , 则 nd  , 但 ||n1. 这表明分布函数收敛性并不能反映随机变量序列取值之间的接近程度. 为此需要引入另外的收敛性.定义 1 设 和 n是定义在同一概率空间 (Ω,F, P)上的随机变量序列 . 如果对任意 ε>0,lim(||)nP=0, (3)或 li(||)nn=1, ')3(则称 n依概率收敛(convergence in probability)于 ，记作 nP  .注 定义 1 要求所有 和 n的定义域相同. n  可直观地理解为：除去极小的可能性，只要 n 充分大， 与 的取值就可以任意接近.从上面例子可以看出, 由 nd  并不能导出 nP  . 关于这两种收敛性之间的关系，我们有下面的定理.定理 1 设 和 n是定义在概率空间 (Ω,F, P)上的随机变量序列 .1. 如果 P  , 则 nd  .2. 如果 ndc  , c 为常数，则 nPc  .证 1. 设 F 和 分别是 和 的分布函数，x 表示 F 的连续点 . 任意给定 ε>0,( xxxnn)(,)(,)U)(n,因此F(x )()FxPnn.令 n→∞, 由于 nP  , 故 )(||0, 从而F(x limnx. (4)类似地 ()(,)(,)nnnxU,从而 FxPnn())().令 n→∞, 得 lim())nFx. (5)连接(4) (5)两式，对任意 ε>0, 有F(x)li()nli())n.由于 F 在 x 点连续，令 ε→0, 就得 Fx, 即 nd  .2. 如果 ndc  ，则 lim(),nFx01c.因此对任意 0,有 )()(1 )(|| cPccPnn n=1 FF,00 (n→∞).定理证毕.例 1 设{ n}独立同分布，都为[0, a]上的均匀分布, nnmax{,,}12L.求证 nPa .证 由定理 1, 只须证明 n的分布函数 GxDanW()()  , 其中 D(x-a)是在 a 点的退化分布函数.从第二章知道：若 k的分布函数为 F(x), 则 n的分布函数为 GxFnn()[]. 现在 k的分布函数为F(x)=,1/,0ax.,故 Gxann(),/)01xa→ D(x-a)=01,xa(n→∞).证毕.依概率收敛有许多性质类似于微积分中数列极限的性质, 下面仅举两个例子说明这类问题的证题方法. 大部分性质放在习题中留给读者自己证明.例 2 设 和 n是定义在概率空间 (Ω,F, P)上的随机变量序列 . 求证：1. 若 P  ， P  , 则 P(ξ=η)=1.2. 若 n  , f 是 (-∞, ∞) 上的连续函数，则 f ( n) Pf  ().证 1. 任意给定 ε>0，我们有(| |)(||/)(||/)nn22U,从而P(| |)(||/)(||/)PPnn.由 nP  , nP  , 并注意到上式左方与 n 无关, 得 P(| |)=0. 进一步,P(||)(||/)(||/)01111PnnnU=0,即 P(ξ=η)=1.2. 任意给定 ,，存在 M>0, 使得P(|ξ | M)P(|ξ| /)/24. (6)由于 nP  , 故存在 N1, 当 n 1时, P (||/)/nM24, 因此 2/4/)2/|()/|(|)|( MPPMnn(7)又因 f(x) 在 (-∞,∞)上连续，从而在[-M, M]上一致连续. 对给定的 ε>0, 存在 δ>0, 当|x-y|0,P(|ξ | > x)Ef(|). (10)证 当 Ef(|ξ|)=∞时，(10)式显然成立. 设 Ef(|ξ|)x 时, f(| yfx|)(,从而xyxy ydFfdFP|| )(||()(|)(1ff)(|xfE.定理 3 nP  当且仅当 E||n21→0.证 充分性：注意到 f (x)=x2在[0, ∞]上非负单调不减, 对任意 ε>0, 由定理 2P(|nnE|)||122→0, 即 nP  .必要性：设 n的分布函数是 Fxn(). 对任意 ε>0, )(1)(1|| |2|222 xdFxdEnnx2Fnx()|\=2Pn(||). (11)由于 nP  , 在(11) 式两边先令 n→∞, 再让 ε→0，即得证 E||n21→0.二、弱大数定律考虑随机试验 E 中的事件 A，假设其发生的概率为 p (0 ε; 在第二种情况，取εε.然而，当 n 充分大后，事件{Sn=1}和{n=0}发生的可能性都很小. 一般来说，自然地希望当 n 充分大以后，出现{| -p| ε}的可能性可以任意地小. 这一事实最早由贝努里发现.定理 4 （贝努里大数定律） 设{ n}是一列独立同分布的随机变量， P( n=1)=p, P( n=0)=1-p, 0 < p <1, 记Sni1, 则SPp . 继贝努里之后，人们一直试图对一般的随机变量建立类似的结果.定义 2 设{ n}是定义在概率空间 (Ω, F, P)上的随机变量序列，如果存在常数列{ an}和{bn}使得 10abnknP , (n→∞ )， (12)则称{ n}服从弱大数定律( weak law of large numbers), 简称{ n}服从大数定律.定理 5 （切比雪夫大数定律） 设{ n}是定义在概率空间 (Ω,F, P)上的独立随机变量序列，E n=, Var n= 2. 如果102k，则{ n}服从弱大数定律，即11nkkP .证 考察随机变量 1kn, 因 E( 1k)= 1nk, Var( 1nk)= 21kn，用第三章§2 的切比雪夫不等式，得P(|1nk()|)2Var( 1nk)= 2(21nk)→0.此即所证.注 1 贝努里大数定律是切比雪夫大数定律的特例.注 2 如果条件“{ n}独立”被“{ n}两两不相关”所代替，定理 5 依然成立. 更一般地, 由该定理的证明容易看出：如果取消条件“{ n}独立”，但条件 “12nk→0”改为“12nVar(kn1)→0”, 则定理 5 的结论仍然成立, 称为“ 马尔科夫大数定律”.如果{ n}不仅独立，而且同分布，则可以改进定理 5 如下：定理 6（辛钦大数定律） 设{ n}是定义在概率空间 (Ω, F, P)上的独立同分布随机变量序列，E| 1|. 记 E 1=μ, Snk1, 则{ n}服从弱大数定律，即 SnP  .证 分别令 )(tf与 tn为 与 / n 的特征函数. 既然{ n}相互独立同分布，那么)(tfn= /. 另外, E 1=μ, 所以由泰勒展开式知)(tf=1+i )(to, t→0. (13)对每个 t∈R, )/(ntf=1+i )/1(/nt, n→∞, (14)=(1+i oite, n→∞.由于 eit恰好是集中单点 μ 的退化分布的特征函数，运用第一节的逆极限定理即可知道Snd/ . 再根据定理 1 得 SnP/  . 定理证毕 .例 2 设 k有分布列ks05., s<1 /2 为常数，且{ k}相互独立. 试证{ k}服从弱大数定律.证 已知 k有分布列ks05.，所以 E k=0, Var k= s2. 当 s<1/ 2 时,12nVark=102211nnssk.另外, { k}又是相互独立的，所以{ k}服从切比雪夫大数定律，即 1knP .例 3 设{ k}相互独立, 密度都为 p(x)=2013/,x，求证{ k}服从大数定律.证 { }独立同分布, E k= pd()=2, 所以{ k}服从辛钦大数定律.例 4 设{ k}独立同分布, E =μ, Var k= 2. 令 nk1,Snkn21().求证: SnP22  .证 nkn221()=12knn()()122nkn()(). (15)由辛钦大数定律知 P  ，从而 ()nP 20. 再因{( k)2)独立同分布，E(k)2=Var k= 2, 故{( k)2)也服从辛钦大数定律，即n1k2(2P . 由(15)式与依概率收敛的性质（习题 18）， SnP2  .注 在数理统计中， n称为样本均值， 1称为样本方差 . 辛钦大数定律表明样本均值依概率收敛于总体均值. 上述例子则表明样本方差依概率收敛于总体方差.最后，给出随机变量序列的另一种收敛性概念.定义 3 设 和 n, n 1, 是定义在同一概率空间 (Ω,F, P)上的随机变量序列，E |r<∞, E|nr, n , 0 < r <∞. 如果 E ||nr0， (16)则称{ n} r-阶平均收敛(convergence in the mean of order r)于 ，记作 nLr  . 如果存在 0< r <∞, nLr  , 令 rxf|)(，并对 n应用马尔科夫不等式，可推出 nP  . 然而下例说明其逆不成立.例 5 定义 P( n=n) =13log()，P( n=0) =1-13log(), n=1,2,…. 易知， nP  0, 但对任何 0 < r<∞,E|log()nrr3, (n→∞).即 0  rLn不成立.。