随机过程第四节

1、1.定义：设有随机过程xn,n g 丁若对任意的整数n g T和任意的ijl,i i g i，条件概率满12 绝对分布：p (n), j g In+1足p(x = i ,/x = i,.,x = i )= p(x = i ：:x = i )则称其为马尔科夫链。n+1n+1 11n nn+1n+1 n n2.马尔科夫链的统计特性完全有条件概率p(x = i /x = i )决定。n+1n+1 n n3.一步转移概率称条件概率pij (n)= p (xn+1 = j/xn = i丿为马尔科夫链x”,n g T在时刻n的一步转移概率。i, j g I，若p.(n)与n无关，则称马尔科夫链为齐次的。ijp (n)= p ;p = 0;工 p = 1; j,i g Iijij ijij4.n 步转移概率称 pij(n) = p(xm+n = jxm = i) i, j g I m = 0,n = 1 为马尔科夫链X”, n g T的 n 步转移概率。P (n) = 0； Y p (n) = 1； j, i g IijijjgI5.n 步转移矩阵。P(n) = (p(n) )； p (1) = p

2、 ； P(l)二 P； p (0) = /ij ijijij10;i 主 j6. pzj (n)具有如下性质:设X ,n g T为马尔科夫链，则对任意整数n=0 ,1=ln； i, j g I n(n) vQ) Gt ) Y Ypij =kYgI pik pkj= pik pkk pk j；k gI k gI 1 1 2n_i1n-1P(n) = pn = pp-1)7初始概率： p = p(X =i)i08.初始概率向量： PT (0)=(p , p )129初始分布：p ,i g八i10绝对概率： p (n)= p(X = j)jn11绝对概率向量：PT (n) = (p (n ), p (n )1213 性质如下：Pt (n)= Pt (n一 1)P = Pt (0)P(n); p (n)=Y P P (n)=工 P (n - 1) P ; ji ijiijieIieI14马氏链的有限维分布：设X , n e T 为马氏链，则对任意的i, i，,i & I ；1 n有 n1 2 np X = i , X = i = PiPii Pi i完全有初始概率和一步转移概率决定。 1 1

3、n ni ii1in -1iniel15状态i的周期d【决定状态是否为周期的】d = d (i) = G.C.D : 0 0)；ii如果d1,则称状态为周期的；如果 d=1 则其为非周期的。16首达概率：f(n) = P (X,1 v n 一 1,X = j / X = i),1 n 为质点有 i 出发，经过 n 步首ijm+v 丰 jm+nm次到达j的概率，称为首达概率。记f =另f (n)；规定f (0)= 0为质点有i出发，经过有限步到达j的概率。【决定是否 ijijijn =1为常返的】若/ =1，则称状态i为常反的；常返的充要条件另p(n)= s ；当i为常反时，返回i iiiin =0的次数是无限多次。若f 1,则称状态i为非常反的(瞬时状态)。左P(n) = T ；当i为非常反时，返回 iiii1 - fn=0iii的次数只能是有限多次。若状态i为非常反的，则以概率1-f 不再返回到i.; ii17 平均首次返回时间：【决定是为正还是零】对于常返态i, .(n),1 ni构成一概率分布，此分布的期望值出= nf)表示为由iiiin=1 ii出发再返回到i的平均返回时间。若

4、卩s，则称常返态i为正常返的。若卩=s则称常返态i为零常返的。非周期的正常 ii返态称为遍历状态。18 Pj)，fjn)关系r(nn(k) xn-k)n(n-k) (k)对于任意状态 i,j 及1 n s 有 pj)= & fij p jj= fijPjj ;fjn )=P 汁討)p 身-k)f（1）f（2）（2）f （1）fj 二 Pi ； f = Pi -切 Pjj ；（3）_（3）乂）（2）（2）G.C.D:0 oliiij ij ij jj ij jjP（n） P（nT）P ； G.C.D C : 0 0ii19平均次数：兰P (n)表示有j出发再返回j的平均次数。jjn 1当j是常返态时，返回的次数是无限多次。当 j 为非常反时，返回 j 的次数只能是有限多次。20超限概率g7j p (有无限多个n使X j / X - i)_ p (有无限多个n使X j) p卩U(X j) /n07n7 Inm 1 n m对任意状态i有g7j J。，如j非常返状态i常返当且仅当g - 1状态i非常返当且仅当g - 0iiii21.(nd ) d设i常返且有周期d,则lim p77，其中卩为i

5、的平均返回时间。当卩=s时,ns 77h .77若 i 遍历 o（nd ）1lim p 0ns 77h .严z5设i常返则若i零常返o lim )= 0；ns 7722状态的可达与互通：状态i可达状态j, 7 T j :存在n 0使p(n) 0； ij状态i与状态j互通，7 o j : 7 T jandi J j可达与互通都具有传递性：即：7 T j,j T k则7 T k； 7 o j,j o k则7 o k如果7 o j则：ij同为常返或非常返，如为常返，则同时为正常返或零常返；两者具有 相同的周期。互通关系的状态为同一类型。23状态空间的分解：状态空间I的子集C称为闭集闭集是不可约的【不可约的充要条件对7,k g C都有p(J ) 0 , n0】,闭集的充要条件:7 g C; k纟C都有p嚣)-0 , n0。如果：P. =1则称状态i为吸收的，等价于单点集为闭集。一个吸收状态构成的闭 ii集是最小的；整个状态空间构成的闭集是最大的闭集；状态空间I中所有常返态组成一闭集 C.不可约的马尔科夫链o 3m,m n,P（n）中无零元O任何两个状态都互通O没有常返 状态或没有非常返状态任一

6、马尔科夫链的状态空间I，可唯一的分解成有限个或可列个互不相交的子集D,C ,C .之和，使得：每一个C是常返态组成的不可约闭集；C中的状态同类型，或全 12nn是正常返或全是零常返，它们有相同的周期，f = 1，i,k g C ； D是全体非常返态组成，ikn自C中的状态不能达到D中的状态。I = DU C U C U .U Cn12n24分解定理说明：状态分为非常返态 D 与常返态 C， C 又可按互通关系分为有限个互不相交的基本常返闭集C , C .12从D出发，或一直停留在D中，或在某一时刻进入C，一旦进入。永不离开。i从某一C出发：停留在这一常返闭集中。i25 不可约马尔科夫链的分解：周期为 d 的不可约马尔科夫链，其状态空间 C 可唯一的分解为 d 个互不相交的子集之和即C = U _1 G ; G I G =Q , 丫丰s且使得从G中任意状态出发经一步转移必进入G中,r rsrr+1r=0G = G，任意取定一状态i,对每一 r = 0,1,.,d -1，定义集d0G =:对某个0 o!马氏链如果其状态空间不可约，则称其不可约的。 rij如果只在0, d,2d.上考虑X ，

7、记得一新马氏链X，其转移矩阵P（d）= C（d）。nndij对于新链，每一G是不可约闭集且G中的状态是非周期的。rr如果原链常返，则新链宜常返； 26有限马氏链的性质不可能全是非常返态没有零常返态必有正常返态 不可约的有限马氏链只有正常返态27 渐进性质如j非常返或零常返则pjn）=o vi g i有限状态的马氏链不可能全是非常返状态，也不可能含有零常返状态，从而不可约的有 限状态的马氏链必是正常返。如果马氏链有一个零常返态，则必有无限多个零常返态。如果j正常返，周期为d对任意的i及0 r d -1有lim j灯)=f (r),f (r)=f际+r)ns jij p ij.jm=0设不可约、正常返、周期d的马氏链，其状态空间为C,则对一切 d(nd ) ；i. j同属于子集Gs=s p .j 0; fouzef (m )pijj m =1如果j为遍历的，d=1:nslim p(n) = f(0)丄,f(0)= f(md) ； lim ns jij p ijjjm=0对任意状态 i,jn (k)1pj = 丁j0,j非常返或零常返如x 不可约、常返，则对任意状态i,j lim -工 nns n k=128平稳分布概率分布,j w 1 为马尔科夫链平稳分布，他满足:j设Xn ,0 /为齐次马尔科夫链，状态空间为】，转移概率为pj，则p = p (1) =. = p (n)；平稳j jj不可约非周期马氏链是正常返的充要条件是存在平稳分布，且此平稳分布就是极限分布(1 ，j w I削j丿有限状态的不可约非周期马氏链必存在平稳分布； 不可约马氏链的所有状态是非常返或零常返，则不存在平稳分布。 , j w I 为不可约非周期马尔科夫链平稳分布，则lim卩匚()=丄=兀jns J p jj对于马氏链：平稳分布不存在o C =0平稳分布唯一存在o只有一个基本正常返闭集C平稳分布有多个o多个不可约的常返闭集c.i

《随机过程第四节》由会员人***分享，可在线阅读，更多相关《随机过程第四节》请在金锄头文库上搜索。