数学随机过程ppt课件.ppt

3.1 引言引言☞☞数学分析数学分析:为研究提供数学框架与几何直观解释为研究提供数学框架与几何直观解释☞☞随机分析：用数学分析中的有关方法分析随机分析：用数学分析中的有关方法分析二阶矩过程二阶矩过程 随机过程随机过程 ：：{ X(t,ω), t T }的一个样本函数的一个样本函数(实现、轨道实现、轨道) X(t)是一个以是一个以t ( T)为自变量的为自变量的随机函数随机函数距距离离极极限限连连续续导导数数积积分分空空间间第三章随机分析第三章随机分析1二阶矩过程定义二阶矩过程定义☞☞定义定义1 :设设X(t)={X( t ,   ), t ∈∈T }为一个随机过程，为一个随机过程，若若  t∈∈T ，其均值，其均值EX(t )和方差和方差DX(t )都存在，则称都存在，则称X(t)为为二阶矩过程二阶矩过程 ( second order process ) ，亦称有限方差，亦称有限方差过程过程( finite variance process ) 3.2二阶矩过程定义及其性质☞☞约定约定1：设：设X(t)={X ( t ,   ), t ∈∈T }是二阶矩过程，则是二阶矩过程，则E[X(t)]=0∵∵ E[X(t)]= μX(t) —关于自变量关于自变量 t 的确定函数，定义的确定函数，定义Y(t)=X(t)-μX(t)，则，则E[Y(t)]=0。

而而Y(t)与与X(t)的方差、自的方差、自协方差函数、自相关函数等数字特征是相同的协方差函数、自相关函数等数字特征是相同的∴∴为了便于分析讨论，约定为了便于分析讨论，约定 E[X(t)]=0.☞☞约定约定2：： { Xn ,n  1}以概率以概率1 收敛于收敛于 X  Xn = X.或或几几乎处处收敛到乎处处收敛到X.3.2二阶矩过程定义及其性质2 二阶矩过程的基本性质二阶矩过程的基本性质☞☞定理定理1 :设设X(t)={X( t ,   ), t ∈∈T }为一个二阶矩过程，为一个二阶矩过程，则其自协方差函数总是存在的则其自协方差函数总是存在的证明：证明：  t1, t2 ∈∈T , X(t)的自协方差函数为的自协方差函数为所以所以 CXX(t1, t2 )=cov{X(t1), X(t2)}<+∞3.2二阶矩过程定义及其性质思路：思路：自协方差自协方差函数为有限值函数为有限值☞☞定理定理2 : 设设 X(t)={X( t ,   ), t ∈∈T }为一个二阶矩过程，为一个二阶矩过程，则其自相关函数总是存在的则其自相关函数总是存在的即即  t1, t2 ∈∈T , X(t)的自相关函数的自相关函数☞☞定理定理3 : 设设X(t)={X( t ,   ), t ∈∈T }为一个二阶矩过程，为一个二阶矩过程，其自相关函数为其自相关函数为RXX(t1, t2 )，则，则特别：若特别：若X(t)={X( t ,   ), t ∈∈T }为一个实二阶矩过程，为一个实二阶矩过程，则则3.2二阶矩过程定义及其性质☞☞定理定理4 : 设设X(t)={X( t ,   ), t ∈∈T }为一个二阶矩过程，为一个二阶矩过程，则其自相关函数为则其自相关函数为RXX(t1, t2 )具有非负定性，即具有非负定性，即3.2二阶矩过程定义及其性质☞☞数学分析：数学分析：给定空间给定空间定义距离定义距离极限极限  连续性、导数、积分连续性、导数、积分为研究提供数学框架与几何直观解释。

为研究提供数学框架与几何直观解释☞☞随机分析：随机分析：确定空间确定空间定义随定义随机机变量的变量的“距离距离” 随随机机变量变量极限极限 随随机机变量变量连续性、导数、积分连续性、导数、积分空间空间距离距离均方均方极限极限均方均方连续连续均方均方导数导数均方均方积分积分HHH3.3 随机分析初步随机分析初步1 H空间与均方极限空间与均方极限1.1 H空间空间☞☞定义定义1：设定义在概率空间：设定义在概率空间(Ω ,F, P)上具有二阶矩的上具有二阶矩的随随机变量机变量全体记作全体记作H = { X : E[X ]< +∞ }称集合称集合{ X: E[X]< +∞ }为为二阶矩随机变量空间二阶矩随机变量空间，简称为，简称为二阶矩空间二阶矩空间(second order space) 或或 H空间空间. 3.3 随机分析初步随机分析初步附注附注A—关于线性空间概念的回顾关于线性空间概念的回顾设设V是一个非空的集合，是一个非空的集合，K是一个数域，又设是一个数域，又设(a)在在V中定义加法：中定义加法：   ,    V :   +    V ;(b)在在V中定义数乘：中定义数乘：      V,  k   K: k ·   V ;且且    ,   ,   V ,  k,l   K , 满足满足(1)  k ,l  K,    ,     V : (2)   +(  + )= (  +  )+  ; (3)   +  =   +  ;(4) 0 V,      V:  +0=   ; (5)     V,      V:   + =0(6) 1  K: 1·  =  ; (7)  k ,l  K,    V: (kl)·  =k·(l ) ;(8) k ,l  K,    V: (k+l)  = k  +l  ;(9)  k   K,    ,     V : k(  +  )= k  + k  .则称则称V是数域是数域K上的一个线性空间。

上的一个线性空间3.3 随机分析初步随机分析初步☞☞定理定理1 H空间是线性空间即空间是线性空间即(1)α1X1+α2X2∈∈H  Xi∈∈H,  αi =const ∈∈R(C) (i=1,2). 因为因为Schwarz不等式不等式（（EXY)2<=EX2EY23.3 随机分析初步随机分析初步(2) (X1+X2) +X3 = X1+ (X2+X3)   Xi ∈∈ H(i=1,2,3) ; (3) X1+X2 = X2 +X1   Xi∈∈ H (i=1,2) ; (4)  0  H: X +0 = X   X ∈∈ H ;(5)   -X   H: X+(-X)=0   X ∈∈ H ;(6) 1· X = X 1  K: (7) (α1α2)·X =α1·(α2X)   αi =const ∈∈R(C) ,   X  H: (8) (α1+α2)X =α1X +α2X   αi =const ∈∈R(C) ,   X  H;(9) α(X1+X2 )=αX1+αX2   αi =const ∈∈R(C) ,   X   H :.3.3 随机分析初步随机分析初步附注附注B—关于内积空间概念的回顾关于内积空间概念的回顾 设设V是定义在复数域是定义在复数域C上的线性空间，若上的线性空间，若   ,    V，在，在V中定义中定义  与与  的内积的内积(数量积数量积) ，记作，记作(  ,   ) ,且满足：且满足：则称则称V是一内积空间。

是一内积空间特别若数域特别若数域K为实数域，则称为实数域，则称V为欧几里得空间为欧几里得空间定义了内积的线性空间称为内积空间定义了内积的线性空间称为内积空间”3.3 随机分析初步随机分析初步☞☞ 定义定义2 设设 X,Y ∈∈ H ,定义定义 , 并称并称(X,Y )为为H空间的空间的内积内积 ☞☞定理定理2则则 H空间是一个内积空间空间是一个内积空间证明：证明：3.3 随机分析初步随机分析初步证明证明(续续)3.3 随机分析初步随机分析初步☞☞特别特别设设 X,Y ∈∈ H,若若(X,Y )=0 ，则称，则称X与与Y正交，记为正交，记为X  Y同时根据约定同时根据约定1：：E[X(t)]=0，， E[Y(t)]=0因此因此(X,Y )=0 即即X与与Y正交时有正交时有所以所以X与与Y不相关故故 (X,Y )=0  X与与Y不相关不相关几何直观意义几何直观意义3.3 随机分析初步随机分析初步附注附注C—关于赋范线性空间概念的回顾关于赋范线性空间概念的回顾设设V是一个线性空间，若是一个线性空间，若     V，存在一个实数，存在一个实数||  ||与与之对应，且具有下列性质：之对应，且具有下列性质：(1) ||  || 0 , 且且||  ||=0   =0 ；；(2) ||c·  ||= |c|·||  || , 特别特别 ||-  ||= ||  ||；； c   R(3) ||  +   ||  ||  ||+ ||  ||；；     V则称则称||  || 为为V中元素中元素  的范数的范数(norm)(模、长度模、长度)，，此时此时线线性空间性空间V称为赋范线性空间称为赋范线性空间 。

对于赋范线性空间对于赋范线性空间 V，若定义，若定义  (  ,   ) = ||  -   ||(   ,    V) , 则则V是一个度量是一个度量(距离距离)空间空间 3.3 随机分析初步随机分析初步☞☞定义定义3设设 X ∈∈ H ,定义定义 称称||X||为为H空间的范数空间的范数☞☞ 定理定理3 H空间是赋范线性空间空间是赋范线性空间证明：证明：3.3 随机分析初步随机分析初步证明证明3.3 随机分析初步随机分析初步附注附注D—关于度量关于度量(距离距离)空间概念的回顾空间概念的回顾设设V是一个集合，若是一个集合，若   ,     V，若存在一个非负的实数，若存在一个非负的实数d(  ,   )与之对应，且具有下列条件：与之对应，且具有下列条件：(1) d(  ,   )  0 , 且且d(  ,   ) =0    =  ；；(2) d(  ,   ) = d( ,   ) ；；(3) d(  ,   )   d(  ,   ) + d(  ,  ) ，，       V ；； 则称则称d(  ,   )为为V中元素中元素  ,   的距离，的距离，此时集合此时集合V称为称为度量度量(距离距离)空间空间 。

3.3 随机分析初步随机分析初步☞☞定义定义4设设 X ,Y∈∈ H ,定义定义 称称ρ(X ，，Y) 为为X 与与Y 的距离☞☞ 定理定理4 H空间是度量空间是度量(距离距离)空间证明：证明：3.3 随机分析初步随机分析初步证明：证明：3.3 随机分析初步随机分析初步 H空间空间 H = { X : E[X]< +∞ }  X,Y ∈∈ H：：内积：内积：距离：距离： X∈∈ H范数范数在在H空间空间 H={X:E[X]<+∞} 中进一步定义中进一步定义Ø极限极限Ø连续连续Ø导数导数Ø积分积分Ø••••••与空间中两个向量的内积、距离和一个元素的范数相类似与空间中两个向量的内积、距离和一个元素的范数相类似3.3 随机分析初步随机分析初步2 均方极限均方极限一、一、 随机变量序列均方极限随机变量序列均方极限☞☞定义定义5 ：设定义在概率空间：设定义在概率空间(Ω ,F, P)上的随机变上的随机变量量X与随机变量序列与随机变量序列{Xn, n 1}均存在二阶矩，均存在二阶矩，即即X , {Xn , n 1 }  H。

若若则称则称X为序列为序列{Xn, n 1}的的均方极限均方极限( limit in mean square)记作：记作：即序列即序列{Xn, n 1}均方收敛均方收敛(mean square convergence)于于X 3.3 随机分析初步随机分析初步☞☞定义定义6 ：设定义在概率空间：设定义在概率空间(Ω ,F, P)上的随机上的随机变量序列变量序列{Xn, n 1}均存在二阶矩，即均存在二阶矩，即 {X ,Xn , n 1 }  H若则称随机变量序列则称随机变量序列{Xn, n 1}是是柯西序列柯西序列(基本序基本序列列)3.3 随机分析初步随机分析初步☞☞定理定理1 ：设：设 {Xn , n 1 }  H若 X  H，使得，使得则随机变量序列则随机变量序列{Xn, n 1}是是(均方收敛的均方收敛的)基本序列基本序列(柯柯西序列西序列) 证明：证明： ||Xn —Xm ||   ||Xn —X || + ||Xm —X || n→ ,m→   : ||Xn —Xm || →0 , 即即  {Xn, n 1}是是基本序列基本序列3.3 随机分析初步随机分析初步☞☞定理定理2 ：设：设 {Xn , n 1 }  H是基本序列是基本序列(柯西序柯西序列列)，则必，则必 X  H，使得，使得——完备性定理。

完备性定理3.3 随机分析初步随机分析初步☞☞附注附注E—关于希尔伯特关于希尔伯特(Hilbert)空间的复习空间的复习设设E是一个度量空间，若是一个度量空间，若E中的每一个基本序列均收敛中的每一个基本序列均收敛于于E，则称，则称E是一个是一个完备空间完备空间具有内积的完备空间称具有内积的完备空间称为为希尔伯特希尔伯特(Hilbert)空间☞☞定理定理3  {Xn , n 1 }  H，，   X H，使得，使得即即H是一个是一个希尔伯特希尔伯特(Hilbert)空间3.3 随机分析初步随机分析初步二、二、 随机变量序列均方极限的性质随机变量序列均方极限的性质☞☞性质性质 1: 设设 X ,Y ,{Xn,n 1},{Yn,n 1} H ,   , C C若若则则证明：证明：3.3 随机分析初步随机分析初步☞☞性质性质 2 : 设设 X ,Y ,{Xn,n 1} H 若若则则证明：证明：即即“均方极限是唯一的均方极限是唯一的”3.3 随机分析初步随机分析初步☞☞性质性质 3 : 设设 X ,Y,{Xn,n 1}, {Yn,n 1}  H 。

若若 则则3.3 随机分析初步随机分析初步证明：证明：3.3 随机分析初步随机分析初步证明证明(续续)3.3 随机分析初步随机分析初步证明证明(续续)实际上第实际上第(3)式是第式是第 (2)式的特例即在第式的特例即在第 (2)式式中取中取Yn =Xn即得即得3.3 随机分析初步随机分析初步☞☞性质性质 4 : 设设 X,{Xn,n 1}  H 若若 则则证明：证明：3.3 随机分析初步随机分析初步三、三、 均方收敛的判断准则均方收敛的判断准则-判断该序列是否收敛判断该序列是否收敛1、柯西准则、柯西准则( Cauchy criterion for maen square convergence)设设 X , {Xn,n 1}  H , 则则的充要条件是：的充要条件是：2、均方收敛准则、均方收敛准则3.3 随机分析初步随机分析初步定理定理4: 李普希茨李普希茨(Lipschitz)条件条件: 函数函数f(x)在在[a,b]上有定上有定义，若存在常数义，若存在常数M，使得，使得f(x)是一确定性函数，是一确定性函数， x1,x2  [a,b]成立：成立：| f(x1) - f(x2) |   M·| x1 - x2 |.则称则称f(x)在在[a,b]上满足李普希茨上满足李普希茨(Lipschitz)条件。

条件3.3 随机分析初步随机分析初步四、四、 随机变量函数的均方极限随机变量函数的均方极限☞☞定理定理5 设设 X , {Xn,n 1}  H , 且且 ，又，又设设f(x)是一个在其定义域是一个在其定义域 D 上上满足李普希茨满足李普希茨(Lipschitz)条件的普通函数则条件的普通函数则3.3 随机分析初步随机分析初步☞☞定理定理5之推论之推论1 设设f(x)是一个在其定义域是一个在其定义域 D 上上满足李满足李普希茨普希茨(Lipschitz)条件的普通函数，且条件的普通函数，且f´(x) 存在且有存在且有界界,而而 X , {Xn,n 1} , f(X), f(Xn )  H , 则当则当 时有：时有：3.3 随机分析初步随机分析初步☞☞定理定理5之推论之推论2 设设X , {Xn,n 1}  H , 且且 则则 t R1有：有：☞☞定理定理6 设设X , {Xn,n 1}  H , 且且 则必有则必有Xn的特征函数当的特征函数当n时收敛于时收敛于X的特征函数，的特征函数，即即3.3 随机分析初步随机分析初步五、五、 均方收敛与依概率收敛的关系均方收敛与依概率收敛的关系☞☞均方极限定义：设均方极限定义：设X,{Xn , n 1 }  H。

若若则称则称X为序列为序列{Xn, n 1}的均方极限的均方极限.☞☞依概率收敛定义：依概率收敛定义：3.3 随机分析初步随机分析初步五、五、 均方收敛与依概率收敛的关系均方收敛与依概率收敛的关系☞☞定理定理7 设设 X , {Xn,n 1}  H , 且且 ，，则则{Xn,n 1} 一定依概率收敛于一定依概率收敛于X即证明：证明： 由契比雪夫不等式由契比雪夫不等式契比雪夫不等式契比雪夫不等式:设随机变量设随机变量X, D[X]<+ ,则则    > 0:3.3 随机分析初步随机分析初步3.3 随机分析初步随机分析初步•作业作业 ：习题三：习题三 98页页•1、、2。