第1章随机过程.pdf

第第 1 章章 预备知识与随机过程基本概念预备知识与随机过程基本概念 1.1 概率论补充知识 概率论补充知识 1.1.1 概率空间概率空间 在概率论中，称随机试验（以下简称试验）的每一可能结果为样本点样本点，记为 ω，称样本 点的全体为样本空间样本空间，记为 Ω． 一般而言，事件 A 是样本空间 Ω 的子集，即AΩ⊂．说事件 A 在一次试验中发生，当且 仅当 A 中的一个样本点在该次试验中出现．所谓概率就是对 A 发生的可能性大小的度量． 由于并不是在所有的 Ω 的子集上都能方便地定义概率，因而只限于在满足一定条件下的 集类上，来研究概率及其性质．为此引进如下的事件域概念． 定义定义 1.1.1 设 F 是以样本空间 Ω 的一些子集为元素的集合（谓之集类集类） ，若它满足条件 (1) Ω∈F ； (2) ,A BAB∈−∈FF若， 则； (3) 1 (1,2,); nn n AnA ∞ = ∈=∈FF? ∪ 若， 则 则称 F 为事件域事件域，称 F 中的元素为事件事件，并且称 Ω 为必然事件必然事件，∅为不可能事件不可能事件． 不难验证，事件域 F 对可列次交、并、差等运算封闭，即，F 中的任何元素经可列次运 算后仍属于 F ．事件域 F 又称作 σ-代数代数或 σ-域域． 定义定义 1.1.2 设 Ω 为样本空间，F 为 Ω 上的事件域，P(·)是一个定义在 F 上的集函数， 若它满足下列条件 (1) 非负性非负性 ,( )0AP A∀ ∈≥F； (2) 规范性规范性 P(Ω) =1； (3) 可列可加性可列可加性 (1,2,),,, iij AiA Aij∈== ∅ ∀ ≠?F当且有 11 (), ii ii PAP A ∞∞ == ⎛⎞ = ⎜⎟ ⎝⎠ ∑∑ 则称 P(·)为 F 上的概率测度概率测度，称(Ω，F，P)为概率空间概率空间，对 A∈F ，称 P(A)为事件事件 A 的概率的概率． 在本科概率论中，通常都认为概率空间(Ω，F，P)是预先给定的，在此基础上，来展开对 各种概率问题的讨论．实际上，构造概率空间要视具体问题而定，并无统一模式．一般而言， 构造概率空间是一项理论性较强且有一定难度的工作． 例例 1.1.3 设某试验的样本空间 Ω 为有限集：Ω={ω1，ω2，…，ωn}．取事件域 F 为 Ω 的 所有子集的全体 （共含 2n个元） ． 在 F 上按如下方式给出概率测度： 先取定一组实数 p1， p2， …， pn，要求 1 0,1,2,,1 n kk k pknp = == ∑ ?且，令 {}() {}() ,1,2,,, ( ),, kk kk kk ωAωA Pωpkn P APωpA ∈∈ == ==∀ ∈ ∑∑ ? F 容易验证如此定义的 P(·)是 F 上的概率测度，因而(Ω，F，P)为概率空间．□ 注注 (1) 在上例中，对每一样本点 ωk赋予正实数 pk (P({ωk}) = pk)是问题的要点，但究竟应 取怎样的 p1，p2，…，pn，这要由试验的具体情况来定．例如，若认为每一样本点 ωk的出现 机会均等，则可取 1 ,1,2,,, k pkn n ==? 此时 {}() 1 ,1,2,,, ( ),, k Pωkn n m P AA n == =∀ ∈ ? F 其中 m 是事件 A 所含的样本点的个数．如此构造的(Ω，F，P)即为古典概型问题的概率空间． (2) 上例构造概率空间的方法可推广到 Ω ={ω1，ω2，…}为可列集的这种场合． (3) 在以后的讨论中，如无特别需要，均认为概率空间(Ω，F，P)是预先给定的． 延伸阅读 延伸阅读 如果某试验的样本空间 Ω 为不可列集，那么通常要用测度论的方法才能构造出相应的概 率空间(Ω，F，P)．请看下面的例子． 例例 1.1.4 设某试验的样本空间为 Ω = (0, 1)，取事件域 F 为(0, 1)∩B 1,其中 B 1是一维 Borel 域（参见附录中关于 Borel 域的描述） ，称 F 为 B 1在集在集(0, 1)上的限制上的限制．此外，F 也等 于由半环{}( , ]: 01a bab=≤ 0 为实常数） ，则对任意的 0 ≤ r 0） ，称 {} 1 ( |)|,F x BP Xx Bx≤∀ ∈R? 为在 B 发生的条件下，X 的条件分布函数条件分布函数．为简明起见，将 F(x | B)称为 X 关于事件 B 的条件 分布函数． 条件分布函数 F(x | B)也可分为离散型与连续型． 对于后者， 若存在非负可积函数 f (x | B)， 使 1 ( |)( |)d ,, x F x Bf t Btx −∞ =∀ ∈ ∫ R 则称 f (x | B)为在 B 发生的条件下，X 的条件概率密度条件概率密度(简称 X 关于 B 的条件概率密度)． 与数学期望的定义方式类似，定义 X 关于 B 的条件数学期望条件数学期望（简称条件期望条件期望）为 (|)d ( |).E X Bx F x B +∞ −∞ ∫ ? (1.1.16) 当 X 关于 B 有条件分布律{}|(1,2,) k P XxBk==?时，(1.1.16)化为 {}(|)|. kk k E X Bx P XxB== ∑ 当 X 关于 B 有条件概率密度 f (x | B)时，(1.1.16)化为 (|)( |)d .E X Bx f x Bx +∞ −∞ =∫ 例例 1.1.18 设 X ~ N( μ, σ2)，B ={X x0}，求 X 关于 B 的条件概率密度 f (x | B)及条件期望 E(X | B). 解解 因{} 0 0 {} ( |)| {} P xXx F x BP Xx B P Xx 0 0 0 0 ( )() ,, 1() 0,, XX X FxFx xx Fx xx −⎧ ⎪ −=⎨ ⎪ ≤ ⎩ 故 0 0 ( ) ( |)( |), 1() X X fx f x BF x Bxx Fx ′== − . 而 0 2 2 0 2 0 2 0 () 2 0 () 2 0 1 (|)( |)d( )d 1() 11 d 1()2 , 21 X x X x μ σ x X xμ σ E X Bx f x Bxx fxx Fx xex Fxπ σ σ μe xμ πΦ σ +∞+∞ −∞ − − +∞ − − == − = − =+ −⎡⎤⎛⎞ − ⎜⎟ ⎢⎥ ⎝⎠⎣⎦ ∫∫ ∫ 其中 Φ 为标准正态分布的分布函数．□ 在上例中，若取 x0 =μ，则有 2 2 () 2 2 ( |)2( ),, 2 2 (|). x μ σ X f x Xμfxexμ π σ E X Xμμσ π − − == =+ 现在我们来考虑一个随机变量关于另一个随机变量的条件期望问题． 设 X,Y 为随机变量， X 关于 Y= y 的条件期望定义为 {} | | (|)d( | ) |,, ( | )d ,, X Y kk k X Y E X Yyx Fx y x P XxYyX Y x fx yxX Y +∞ −∞ +∞ −∞ = ⎧== ⎪ =⎨ ⎪ ⎩ ∫ ∑ ∫ ? 当为离散型, 当为连续型. (1.1.17) 其中 {} | ( | )| X Y Fx yP Xx Yy≤=? 是 X 关于 Y= y 的条件分布函数． {} {} {} , |,1,2, k k P XxYy P XxYyk P Yy == ==== = ? 是 X 关于 Y=y 的条件分布律． | ( , ) ( | ) ( ) X Y Y f x y fx y fy = 是 X 关于 Y=y 的条件概率密度． 注注 (1) 当(X, Y )为离散型随机向量时，对 Y 的每一可能值 y，因 P{Y=y}0，故 X 关于 Y=y 的条件分布函数及条件分布律均无歧义且两者之间有如下关系： {} {} {} 1 | : || ( | )|,, |(| )(0| ),1,2, k X Yk k xx kX YkX Yk Fx yP XxYyx P XxYyFxyFxyk ≤ ===∀ ∈ ===−−= ∑ R ? (2) 当(X, Y )为连续型随机向量时，因对任意实数 y，有 P{Y=y}=0，故 X 关于 Y=y 的条 件分布函数 FX |Y (x | y)不能理解为条件概率 P{X ≤ x | Y=y}，而应理解为如下的极限 {} | 0 ( | )lim|. X Y δ Fx yP Xx yδYyδ + → ≤− 0，若有 lim[|| ]0, r n n EXX →∞ −= 则称{Xn , n ≥1}r 阶平均收敛阶平均收敛到 X，记作()lim r Lr nn n LXXXX →∞ =⎯⎯ →或． 在 r 阶平均收敛中，最常见的是 r=2 的情形，此时，称为均方收敛均方收敛（convergence in mean square） ，记作 2 . ./ ( . .)lim m sL nn n m sXXXX →∞ =⎯⎯⎯⎯→或． 4．． 概率概率 1 收敛收敛 若 {} : lim( )( )1, n n P ωXωX ω →∞ == 则称{Xn , n ≥1}概率概率 1 收敛收敛到 X．概率 1 收敛到 X 也常称作几乎必然收敛几乎必然收敛（convergent almost surely to X）到 X，记作 . . ( . .)lim a s nn n a sXXXX →∞ =⎯⎯→或． 5．． 各种收敛性之间的关系各种收敛性之间的关系 前面介绍了随机变量序列的 4 种收敛性，它们之间存在着一定的强弱关系． 定理定理 1.1.29 (1) . .a sP nn XXXX⎯⎯→⎯⎯ →若，则． (2) r LP nn XXXX⎯⎯ →⎯⎯ →若，则． (3) Pd nn XXXX⎯⎯ →⎯⎯ →若，则． 证明证明 (1) 因为{ } 11 1 : lim( )( ):( )( ) nn n mkn k ωXωX ωωXωX ω m ∞∞∞ →∞ === ⎛⎞ ==− ⎜⎟ ⎝⎠ ∩∪∩ ，所以 () . . 11 11 1 1 :( )( )1, 1 :( )( )0, 0,:( )( )0. a s nn mkn k n mkn k n kn k XXPωXωX ω m PωXωX ω m εPωXωX ωε ∞∞∞ === ∞∞∞ === ∞∞ == ⎧⎫ ⎛⎞ ⎯⎯→⇔−−≥= ⎨⎬ ⎩⎭ ∩∪∩ ∪∩∪ ∩∪ 由 {}(): |( )( )|: |( )( )| kk n k ωXωX ωεωXωX ωε ∞ = −≥⊂−≥ ∪ 及 ()() 1 lim: |( )( )|:( )( )0, kn k n kkn k PωXωX ωεPωXωX ωε ∞∞∞ →∞ === ⎧⎫⎧⎫ −≥=−≥= ⎨⎬⎨⎬ ⎩⎭⎩⎭ ∪∩∪ 得 {}lim: |( )( )|0. k k P ωXωX ωε →∞ −≥= (2) 由 Markov 不等式 {} (|| ) ||, r r EX PXε ε ≥≤ 得 {} (|| ) ||0 (), r n n r EXX PXXεn ε − −≥≤→→ ∞ 即{}lim||0 n n PXXε →∞ −≥=． (3) 设 s≤⊂≤≤∪∪ 得 {}( )( ),. nn F sF xP Xx Xs≤+≤ 而 {}{},||0 (), P nnn P Xx XsPXXxsXX≤≤−≥−→⎯⎯ →∵ 故 ( )lim( ). n n F sF x →∞ ≤ 又设 t x，用与上面类似的证法，可得 lim( )( ). n n F xF t →∞ ≤ 因而，对任意 s t )所处状态的概率与它在过去时刻 s ( s t ) 的状态无关． 设过程 X ={ X (t), t∈T }，其中[0,)T ⊂+∞．若对任意 n≥1，任意 n 个时刻 0≤t1 t2… 0（tn+s∈T） ，有 {} {} 11 1 1。