第五章 马尔可夫过程-2.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,5,马尔可夫过程,马尔可夫过程,的概念,离散参数,马尔可夫链,连续参数,马尔可夫链,生灭过程及应用,5,马尔可夫过程,有限维概率分布,(,簇,),转移概率 绝对概率 极限分布 平稳分布,状态空间的性质,5.2.4,马尔可夫链的状态分类,一些基本状态类型、概率性质及其关系,状态空间的分解,极限特性与平稳分布,5.2.4,马尔可夫链的状态分类,_,状态的基本属性,一、可达与相通,可达的定义,：对给定的两个状态,i,和,j,若存在正整数,n,1,使得,p,ij,(,n,)0,则称,从状态,i,可到达,状态,j,，,记为,i,j,；,否则，称,从状态,i,不,可到达,状态,j,，,记为,i,j,若从状态,i,不可,到达,状态,j,时，一个,齐次马尔可夫链对于一切,n,(1),总有,p,ij,(,n,)=0,概率,p,概率,q,i,=1,2,3,4,5,两个吸收壁,1,5,5.2.4,马尔可夫链的状态分类,_,状态的基本属性,一、可达与相通,相通的定义,：给定的两个状态,i,和,j,，,如果从状态,i,可到达状态,j,，即,i,j,；,而且从状态,j,也可,到达,状态,i,，即,j,i,，,则称,状态,i,与,状态,j,相通,，记为,i,j,。

定理,：,可,达和相通都具有,传递性,即若,i,k,，,k,j,，则,i,j,；若,i,k,，,k,j,，则,i,j,证,若,i,k,，,k,j,，则由,定义存在,m,1,和,n,1,，使,p,ik,(,m,)0,p,kj,(,n,)0,根据切普曼柯尔莫哥洛夫方程，,状态可达的传递性 状态相通的传递性,5.2.4,马尔可夫链的状态分类,_,状态的基本属性,二、到达时间和到达概率,状态到达时间定义,：,对于任意的,i,j,E,，,从状态,i,出发，到达状态,j,的步长首达时间定义,：对于任意的,i,j,E,，,m,时刻从状态,i,出发，经过,n,步首次到达状态,j,的时间，,称为从,状态,i,到达状态,j,的,首达时间,即从,状态,i,出发，到达状态,j,的最小步长,n,首达时间是一随机变量，取值于集合,1,2,T,ij,=,i,j,T,ii,表示从状态,i,出发首次回到状态,i,的时间5.2.4,马尔可夫链的状态分类,_,状态的基本属性,二、到达时间和到达概率,首达概率定义,：对于任意的,i,j,E,，,m,时刻从状态,i,出发，经过,n,步首次到达状态,j,的概率，,称,为,首达概率,。

显然，,f,ii,(n,),表示从状态,i,出发经过,n,步首次回到状态,i,的概率5.2.4,马尔可夫链的状态分类,_,状态的基本属性,二、到达时间和到达概率,迟早到达概率定义,：对于任意的,i,j,E,，,m,时刻从状态,i,出发，迟早到达状态,j,的概率定义为,显然，,表示系统在从状态,i,出发，经过有限步转移后不可能到达状态,j,的概率f,ii,表示从状态,i,出发迟早回到状态,i,的概率,:,5.2.4,马尔可夫链的状态分类,_,状态的基本属性,二、到达时间和到达概率,平均转移时间定义,：,定义条件数学期望,为从状态,i,出发，首次到达状态,j,的,平均转移时间,或,平均转移步数,当,i=j,时，称为从状态,i,出发，首次返回状态,i,的,平均返回时间,或,平均返回步数,5.2.4,马尔可夫链的状态分类,_,状态的基本属性,二、到达时间和到达概率,基本性质,：,（,1,）对于任意的,i,j,E,，,（,2,）,定理：,对于任意的,i,j,E,及,n,，,该式表明，从状态,i,出发经过时间,n,后到达状态,j,的概率,等于所有从状态,i,出发经过一段时间,m,(0,，,因,则至少存在一个正整数,n,1,使得,f,ij,(n)0,。

由上,定理，,因此，,i,j,4,）,定理：对于任意的,i,j,E,，,5.2.4,马尔可夫链的状态分类,_,状态的基本属性,三、常返态与非常返态,定义,：,对于,状态,i,E,，,若,迟早返回的概率,f,ii,=1,，,则称状态,i,是,常返态,（返回态）；若,f,ii,1,，,则称状态,i,是,非,常返态,（滑过态、瞬时态）对于常返态,i,E,，若平均返回时间,i,0,而当,n,不能被,d,整除时，,p,ii,(,n,)=0,则称状态,i,是,周期的,，且周期为,d,；,如果不存在上述的,d,时，则称状态,i,是,非周期的,d=1,）,若状态,i,为正常返态且为非周期的，则称状态,i,是,遍历状态,d=1,）,5.2.4,马尔可夫链的状态分类,_,状态的基本属性,f,ii,=1,f,ii,1,i,+,i,=+,5.2.4,马尔可夫链的状态分类,_,状态属性的判定,五、状态判别准则,平均返回次数,：当状态,i,是,常返态,时，则平均返回,i,的次数为无穷；若状态,i,是,非,常返态,时，则平均返回,i,的次数应为有限次5.2.4,马尔可夫链的状态分类,_,状态属性的判定,五、状态判别准则,平均返回次数与转移概率的关系,：,若,X(0)=j,经过,n,步返回状态,j,，,定义随机变量 。

那么，就表示返回,j,的次数平均返回次数为,5.2.4,马尔可夫链的状态分类,_,状态属性的判定,五、状态判别准则,定理,:,状态,i,是,常返态,的充要条件是下列三个条件之一成立,:,(1),f,ii,=1,(2),(3),5.2.4,马尔可夫链的状态分类,_,状态属性的判定,五、状态判别准则,定理,:,状态,i,是,非常返态,的充要条件是下列三个条件之一成立,:,(1),f,ii,0,p,ii,(,n+,1)0,则状态,i,是非周期的2,）如果,n,步转移概率矩阵中相应某状态,i,的那一列元素全不为零，则状态,i,是非周期的5.2.4,马尔可夫链的状态分类,_,状态属性的判定,六、状态之间的等价关系,定理,:,(1),如果状态,i,是常返的,且,i,可达,j,则状态,j,也是常返的,并且,f,ji,=1;,(2),如果,i,和,j,相通,则,i,和,j,状态的常返性、非常返性、正常返性、零常返性、周期性是相同的相通是一种等价关系,用之对状态进行分解,.,5.2.4,马尔可夫链的状态分类,七、状态空间的分解,闭集定义,设,C,是状态空间,E,的一个子集，如果从,C,内任何一个状态,i,不能到达,C,外的任何状态，则称,C,是一个,闭集,。

即，对任意的,iC,，,jC,，,n1,都有,p,ij,(n,)=0.,显然，如果,C,是闭集，对于任意,iC,，,恒有,整个状态空间,E,是最大的闭集如果单个状态,i,构成的集,i,是闭集，则称状态,i,是,吸收态,任何一个吸收状态构成最小的单点闭集5.2.4,马尔可夫链的状态分类,七、状态空间的分解,不可约定义,如果闭集,C,中不再含有任何非空的子闭集，则称,C,是,不可约的,(,不可分的,),如果闭集,C,的,状态是相通的，则,C,是不可约的当整个状态空间,E,这个闭集不可约时，称此马氏链为,不可约马氏链,，否则称为,可约马氏链,5.2.4,马尔可夫链的状态分类,七、状态空间的分解,性质,（,1,）,C,是闭集 对于,i,C,j,C,p,ij,(,n,)=0,n1,（,2,）,所有常返态构成一个闭集3,）齐次马氏链不可约 任何两个状态均相通4,）在不可约马氏链中，所有状态具有相同的状态类型5,）不可,约马氏链或没有非常返态或没有常返态5.2.4,马尔可夫链的状态分类,七、状态空间的分解,状态空间分解,齐次马氏链的状态,E,可唯一地分解为有限多个或可列多个互不相交的状态子集：,其中，,N,是非常返态集合，,C,1,C,2,是互不相交的,不可约,常返态,闭集。

各闭集中的,状态具有相同的状态类型：或者均为零常返态；或者均为正常返态5.2.4,马尔可夫链的状态分类,七、状态空间的分解,状态空间分解,对状态空间进行分类，先按常返态和非常返态分成两类：,C,和,N,C,是一,闭集,.,对,C,再按相通关系分类，在,C,中任取一个状态,i,1,，,凡与,i,1,相通的状态组成一个集合，记为,C,1,；若,C-C,1,，,再在,C-C,1,中,任取一个状态,i,2,，,凡与,i,2,相通的状态组成一个集合，记为,C,2,；,再看,C-C,1,C,2,？,，,直到,C-C,1,C,2,=,为止5.2.4,马尔可夫链的状态分类,八、有限马尔可夫链的性质,有限马尔可夫链：,该链的状态空间是一个有限集合,.,有限马尔可夫链性质：,（,1,）状态空间,E,可分解为,其中，,N,是非常返态集合，,C,1,C,2,C,k,是互不相交的常返态,闭集；,（,2,）非常返态的集合一定不是闭集；,（,3,）没有零常返态；,（,4,）必有正常返态；,5.2.4,马尔可夫链的状态分类,八、有限马尔可夫链的性质,证明,:,（,2,）非常返态的集合一定不是闭集；,假设非常返态的集合,N,是一闭集，则对任意的,i,N,，有,因为,N,是,非常返态组成的集合，所以对任意的,j,N,，有,因此,矛盾。

5.2.4,马尔可夫链的状态分类,八、有限马尔可夫链的性质,（,3,）没有零常返态；,如果有某个零常返态,i,存在，且它属于一个基本闭集,C,k,，那么由闭集性质有，,因为,C,k,是零常返态组成的集合，所以对任意的,j,C,k,有,因此，,矛盾5.2.4,马尔可夫链的状态分类,八、有限马尔可夫链的性质,（,4,）必有正常返态；,根据转移概率性质，总有,由于,E,是有限集合，于是,这表明不可能对一切的,j,E,都有,设有一状态,k,使得,那么状态,k,就是正常返态5.2.4,马尔可夫链的状态分类,九、极限特性,(,转移概率,),1,、非常返态与零常返态的情况,定理,：若状态,j,是非常反态或零常反态，则对任意,iE,，有,5.2.4,马尔可夫链的状态分类,九、极限特性,(,转移概率,),2,、正常返态的情况,定理,：（,1,）若,j,为正常返态，则对任意,i E,，有,当状态,i,可达,j,当状态,i,不可达,j,5.2.4,马尔可夫链的状态分类,九、极限特性,(,转移概率,),2,、正常返态的情况,定理,：（,2,）若,j,为正常返态，周期为,d,，则对任意,i E,，及,0r d-1,，有,其中，,5.2.4,马尔可夫链的状态分类,九、极限特性,(,转移概率,),2,、正常返态的情况,定理,：（,3,）若,j,为遍历状态，则对任意,i E,，有,（,4,）若不可约马氏链的状态,j,是常返态，则对任意,i,jE,，有,5.2.4,马尔可夫链的状态分类,九、极限特性,(,转移概率,),2,、正常返态的情况,定理,：（,5,）对于任何不可约的遍历马氏链，则对任意,i,jE,，有,推论,：,不可约非周期常返态齐次马氏链是遍历马氏链，即,这时，其极限分布、绝对分布、平稳分布一致：,5.2.4,马尔可夫链的状态分类,十、几个例子,(,教材 例,1-,例,4),例,1,两个吸收壁的随机游离运动。

状态空间：,E=1,2,3,4,转移矩阵：,状态转移图,：,p,q,i,=1,2,3,4,p,q,1,2,3,4,1,q,p,p,q,1,5.2.4,马尔可夫链的状态分类,十、几个例子,(,教材 例,1-,例,4),例,1,两个吸收壁的随机游离运动状态,1:,p,11,=1,f,11,(1)=1,f,11,(,n,)=0(,n,1),状态,1,为正常返态，吸收态,同理,，,状态,4,为正常返态，吸收态,.,p,q,i,=1,2,3,4,p,q,5.2.4,马尔可夫链的状态分类,十、几个例子,(,教材 例,1-,例,4),例,1,两个吸收壁的随机游离运动状态,2:,p,22,=0,p,23,=,p,p,32,=,q,f,22,(1)=0,f,22。