随机过程10-11.ppt

第十章 随机过程的基本概念,随机过程的基本概念 随机过程的有限维分布函数族 随机过程的数字特征 特殊的随机过程及性质 泊松过程和维纳过程,§10.1 基本概念,例1、1mol氧气注入密封的圆柱形容器中（中间 插入网形隔板），注入的起始时刻令t=0，问[0,1]中任一时刻左边含有的氧分子数令t时刻左边含有的氧分子数为X(t)，则在每一个时刻t，X(t)为随机变量，且X(0.1)与X(0.2)显然不独立称{X(t),t∈T}为随机过程，T称为参数集令t在T中变动，得到依赖于t的一族随机变量，则称 为随机过程记为{X(t),t∈T}，或X(t),X(ω, t),（随机过程即为定义在同一个Ω上的无穷多个随机变量的集合族注：①T:参数集；t:参数（一般为时间，也可以是其余的参数）；Ω:样本空间故随机过程{X(t),t∈T}由t和ω决定②T可以是离散、可列地取值，如T={1,2,…}，称为具有离散参数的随机过程（随机序列）；T也可以是某一有限区间或无限区间，如T＝[a,b]，T=[0,+∞)，称为具有连续参数的随机过程③参数t固定为t0，则X(ω,t0)为一随机变量，称为过程在t0时刻的状态；故随t变化的随机变量的集合族即为一随机过程。

固定t0∈T，I={X(ω0,t0)| 任意ω0 ∈Ω}称为状态空间（所有状态的集合）；根据X(ω,t0)离散（连续），I称为离散（连续）状态空间④固定ω0 ,{X(ω0 ,t),t∈T}是t普通的函数，称为随机过程对应于试验结果ω0的一个样本函数（一个现实，一个轨迹）所有的轨迹放在一起即为随机过程，这种定义在理论上比较有用；但在实际的认识中我们是在每个时刻t去认识随机过程，故用统计的方式处理§10.2 随机过程的有限维分布函数族,定义1：,定义2：,定义3：,称为随机过程的有限维分布函数族例1、设随机序列Xn=Sn,(n=1,2,…)，其中S是在[0,1]区间上服从均匀分布的随机变量，求{Xn,n≥1}的一维分布密度函数族例2、已知随机过程,求：,§10.3 随机过程的数字特征,定义1：,定义2：,计算公式：,注：①随机过程{X(t),t∈T}，t固定时X(t)即为随机变量，故概率论中求数字特征的方法，全部可以用来求随机过程中相应的数字特征（包括数字特征的性质）③随机过程加普通函数不改变协方差函数②{X(t),t∈T}中均方值函数存在，其协方差函数一定存在§10.4 特殊的随机过程,⒈二阶矩过程：设{X(t),t∈T}为一随机过程，若任意t∈T,二阶矩存在，即EX2(t)<+∞，则称{X(t),t∈T}为二阶矩过程。

⒉正态过程：设{X(t),t∈T}为一随机过程,若X(t)的任一有限维分布均为正态分布，则称{X(t),t∈T}为正态过程（特殊的二阶矩过程）,⒊独立增量过程：设{X(t),t∈T}为一随机过程，,⒋齐次增量过程：设{X(t),t∈T}为一随机过程，,特殊：当{X(t),t∈T}为独立增量过程时称为齐 次独立增量过程⒌马尔可夫过程：设{X(t),t∈T}为一随机过程，,具有马尔可夫性的随机过程称为马尔可夫过程例3、Xn，n=1,2,…是独立同分布的随机变量序列，称其部分和序列 为和过程，证明和过程{Sn}，n=1,2,…是齐次独立增量过程⒍独立增量过程的性质：,,{X(t),t∈T}是一个独立增量过程，t0是T的起点，定义Y(t)=X(t)-X(t0)，则Y(t)也是一个独立增量过程，而且与X(t)有着完全相同的增量规律，且P(Y(t0)=0)=1;,所以，一般的，对于独立增量过程{X(t),t∈T}，若T={t|t≥0}，我们假设P(X(0)=0)=1定理1：设{X(t),t≥0}是一个独立增量过程， 在P(X(0)=0)=1的条件下，X(t)的任意有限维分布函数族可以由增量X(t)-X(s) (0

定理2：设{X(t),t≥0}是一个独立增量过程，其均值函数 和方差函数 存在，则在 P(X(0)=0)=1条件下，X(t)的协方差函数,如：例3中Xn，n=1,2,…是独立同分布且方差为σ2的随机变量序列，则其和过程 的协方差函数,§10.5 泊松过程和维纳过程,一、维纳过程,定义：设随机过程{W(t),t≥0}，若满足如下条件，则称W(t)为维纳过程：,(1)W(0)=0；,(2)W(t)是齐次独立增量过程；,(3),(4)任给t≥0，EW(t)=0性质：,(1)W(t)为正态过程，其一维分布为正态分布2),二、泊松过程,现实中某些现象的属性常常可以归结为某一空间中点的随机发生，即构成随机点过程如：“来到银行柜台前等待服务的顾客数”；“在一段时间内点机器发生的故障数”等等而我们关心的是计数过程N(t)在[0,t]内随机点发生的数目，N(t)满足一定的条件称为泊松过程1.概念,定义：设{N(t),t≥0}表示[0,t]时间内随机点 发生的数目，如果N(t)具有以下性质，则称{N(t),t≥0}是一个到达强度为λ(λ>0)的泊松过程1)齐次性：,以{N(t0,t0+t)=k}表示“在(t0,t0+t]发生k个随机点”这一事件，则Pk(t)=P(N(t0,t0+t)=k)(k=0,1,2,…)只与时间区间长度t有关，而与起始点无关。

2)独立增量性（无后效性）：,在任意的n个互不相交的时间区间(ai,bi] (i=1,2,…)中，各自发生的随机点数是相互独立的，即：若第i个区间(ai,bi] 有ki个随机点出现，则事件{N(ai,bi)=ki} (i=1,2,…)独立3)普通性：,在一瞬间最多出现一个随机点；,则,(4) P(N(0)=0)=1（非本质性质）,若记,2.性质（有限维分布及数字特征）,(1) 设{N(t),t≥0}是一个强度为λ的泊松 过程，则N(t)的一维分布是参数为λt的泊松分布，即N(t)~P(λt)mN(t)= λt；DN(t)= λt；CN(s,t)= λ·min{s,t},(3) 设{N(t),t≥0}是一个强度为λ的泊松 过程，则增量N(t)-N(s)（参数t>s≥0）的分布是参数为λ(t-s)的泊松分布，即N(t)-N(s)~P(λ(t-s))4) 设{N(t),t≥0}是一个强度为λ的泊松 过程，求N(t)的二维分布3.间隔时间的分布,例：设{N(t),t≥0}是一个强度为λ的泊松过程，记Wn（n=1,2,…）为第n个随机点出现的时刻，Ti=Wi-Wi-1（i=1,2,…）表示第i-1个随机点与第i个随机点出现的时间间隔，求Wi与Ti的分布。

结论：泊松过程中随机点出现的间隔时间Ti=Wi-Wi-1（i=1,2,…），相互独立，同服从参数为λ的指数分布e(λ)；反之也成立4.泊松过程与其它分布的关系,,例1、设{N(t),t≥0}是一个强度为λ的泊松过程，求：P(N(S)=1|N(T)=1) (T≥S≥0),例2、求：P(N(S)=k|N(T)=n) (k=0,1,…,n) (T≥S≥0),例3、证明：所有的独立增量过程都为马尔可夫过程（即具有马尔可夫性）第十一章 马尔可夫链,马尔可夫链的概念和转移概率矩阵 齐次马尔可夫链的有限维分布 多步转移概率的确定 齐次马尔可夫链的遍历性,§11.1 马尔可夫链的基本概念,定义1：设随机过程{Xn,n≥0}，如果满足如下条件：,(1) {Xn,n≥0}的状态空间I ={x0,x1,…,xn,…}为可数集；,(2) 对一切的n≥1和所有的x,x1,x2,…,xn-1∈I都有,则称{Xn,n≥0}为马尔可夫链，简称马氏链其中(1)式称为马尔可夫条件无后效性）,注：1.马尔可夫性的意义：未来的分布只与现在时刻有关，与历史无关2.定义中(1)式与下列等式等价：,3.状态空间不失一般性，可假定为I={0,1,2,…},此时，{Xn=i}表示：马尔可夫链“第n步（n时刻）处于第i个状态”或称为“第n步有值i”。

定义2：设{Xn,n≥0}是一马尔可夫链，称pij(m,m+n)=P(Xm+n=j|Xm=i)为马氏链{Xn,n≥0}的n步转移概率任意的i,j∈I),由pij(m,m+n)组成的矩阵P(m,m+n)=(pij(m,m+n))称为{Xn,n≥0}的n步转移概率矩阵定义3：设{Xn,n≥0}为一马尔可夫链，如果对所有的m≥0，n≥1，i,j∈I，有P(Xm+n=j|Xm=i)=P(Xn=j|X0=i)，则称该马尔可夫链是齐次的此时，n步转移概率记为：pij(m,m+n)=pij(n)， （n=1,2,…）,n步转移概率矩阵记为：P(m,m+n)=P(n)=(pij(n)),特别的，n=1时，一步转移概率记为：pij,一步转移概率矩阵记为：P=P(1)=(pij),即：,性质1、设{Xn,n≥0}是一马氏链，若对一切的n和i,j∈I，有P(Xn+1=j|Xn=i)=P(X1=j|X0=i)， 则{Xn,n≥0}是齐次的马尔可夫链性质2、设{Xn,n≥0}是齐次马氏链,P(n)= (pij(n))是其n步转移概率矩阵，则有： (1)pij(n)≥0 (任意的i,j∈I),例1、甲袋中有k只白球，1只黑球；乙袋中有k+1只白球(k≥1)，现每隔单位时间从各袋中任取一球进行交换(Δt=1)，令,(1)证明:{Xn , n≥0}为一齐次马尔可夫链；,(2)求：一步转移概率矩阵。

例2、街道一边有n+1个房间，在每个房间做标号，从0到n：n号为酒馆，0号为醉汉住的房间醉汉喝完酒准备回家作为起始时刻，每隔单位时间移动一次，且仅移动一个房间，每次移动时以等可能向左、向右移动，在酒馆中(起始时刻)仅向右移，回到家中不动令Xm=i表示醉汉在m时刻处于第i个房间中(其中i=0,1,…,n) 则{Xm,m≥0}为一马尔可夫链；,求：一步转移概率矩阵§11.2 齐次马尔可夫链的有限维分布,定义：设{Xn,n≥0}是一齐次马尔可夫链，其状态空间I={0,1,2,…}，对任意时刻n≥0，称离散型随机变量Xn的分布律P(Xn=j)=pj为齐次马尔可夫链{Xn,n≥0}的一维分布律，记为p(n)=(p0(n),p1(n),…,pj(n),…)；特别X0的分布律p(0)=(p0(0),p1(0),…,pj(0),…)称为初始分布定理1：设{Xn,n≥0}是齐次马尔可夫链，其初始分布为p(0)=(p0(0),p1(0),…,pj(0),…)n步转移概率矩阵为P(n)＝(pij(n))，则对任意的时刻n(n≥1),Xn的一维分布为p(n)=p(0)P(n),若用分量的形式表示，则,定理2：设{Xn,n≥0}是齐次马尔可夫链，其n步转移概率矩阵为P(n)＝(pij(n))，则对任意的时刻n1

引理：设随机事件A1,A2,…,An,…构成完备事 件组，即：,B,C是两个随机事件，P(AiC)>0（i=1,2,…),定理：设{Xn,n≥0}是齐次马尔可夫链，其 状态空间为I={0,1,2,…},n步转移概率矩阵为P(n)＝(pij(n))，则对任意的时刻m≥1, n≥1，有P(m+n)=P(m)P(n)，即：,。