马氏链模型及matlab程序.docx

一、用法，用来干什么，什么时候用二、步骤，前因后果，算法的步骤，公式三、程序四、举例五、前面国赛用到此算法的备注一下马氏链模型用来干什么马尔可夫预测法是应用概率论中马尔可夫链(Markov chain)的理论和方法来研究分析时间 序列的变化规律，并由此预测其未来变化趋势的一种预测技术什么时候用 应用马尔可夫链的计算方法进行马尔可夫分析，主要目的是根据某些变量现在的情 况及其变动趋向，来预测它在未来某特定区间可能产生的变动，作为提供某种决策的依 据马尔可夫链的基本原理 我们知道，要描述某种特定时期的随机现象如某种药品在未来某时期的销售情况，比如说第n季度是畅销还是滞销，用一个随机变量Xn便可以了，但要描述未来所有时期的情况，则需要一系列的随机变量X , X,…，X,….称｛X, tGT , T是参数集｝为随机过程，｛X ｝1 2 n t t的取值集合称为状态空间.若随机过程｛X ｝的参数为非负整数，X为离散随机变量，且｛X ｝ n n n具有无后效性(或称马尔可夫性)，则称这一随机过程为马尔可夫链(简称马氏链).所谓无后效性，直观地说，就是如果把｛ X ｝的参数n看作时间的话，那么它在将来取什么值只n与它现在的取值有关，而与过去取什么值无关.对具有N个状态的马氏链，描述它的概率性质，最重要的是它在n时刻处于状态i下一时刻转移到状态j的一步转移概率：P (X 1 二 j I X =i) = p..(n) i, j 二 1, 2,…,Nn+1 n i j若假定上式与n无关，即p..(0) = p (1)=…=p (n)=…，则可记为p..(此时，称过ij ij ij ij程是平稳的)，并记r Php12… p 、1NP 二P21p22… p2N< PN 1pN2… pNN称为转移概率矩阵.转移概率矩阵具有下述性质:(1) Pi, > 0, j = l'2,…，N .即每个兀素非负.(2) £p. , = 1, i = 1,2,…,N .即矩阵每行的元素和等于1. ijj-1如果我们考虑状态多次转移的情况，则有过程在n时刻处于状态i, n+k时刻转移到状态j的k步转移概率:P( X kn+ki, j = 1, 2,…，N=j I X 二 i)二 p(k)(n)n i ,同样由平稳性，上式概率与n无关，可写成硝）•记p (k)11p (k)12p (k)1NP (k)-p (k)21p (k)22p (k)2 N,p(k)* N1p (k)N 2・・・p(k)丿NN丿2)称为艸转移概率矩阵•其中硝）具有性质:p(k) > 0, i, j 二 1, 2,…，N ； £ p(k) = h i =1, 2,…，N .i j 2 jj-1一般地有，若p为一步转移矩阵，则k步转移矩阵p (k)11p (k)12p (k)1NP (k)-p (k)21p (k)22p (k)2 N,p(k) ' N1p (k)N 2・・・p (k)NN丿3)2）状态转移概率的估算在马尔可夫预测方法中，系统状态的转移概率的估算非常重要.估算的方法通常有两种:是主观概率法，它是根据人们长期积累的经验以及对预测事件的了解，对事件发生的可能 性大小的一种主观估计，这种方法一般是在缺乏历史统计资料或资料不全的情况下使用.是统计估算法，现通过实例介绍如下.例 3 记录了某抗病毒药的 6 年 24 个季度的销售情况，得到表1.试求其销售状态的转 移概率矩阵.表1某抗病毒药24个季度的销售情况季度销售状态 季度 销售状态 季度 销售状态 季度 销售状态11 （畅销）71（畅销）131（畅销）192（滞销）21（畅销）81（畅销）141（畅销）201（畅销）32（滞销）91（畅销）152（滞销）212（滞销）41（畅销）102（滞销）162（滞销）221（畅销）52（滞销）111（畅销）171（畅销）231（畅销）62（滞销）122（滞销）181（畅销）241（畅销）分析表中的数据，其中有15个季度畅销，9个季度滞销，连续出现畅销和由畅销转入 滞销以及由滞销转入畅销的次数均为7，连续滞销的次数为2．由此，可得到下面的市场状 态转移情况表（表2）．现计算转移概率．以频率代替概率，可得连续畅销的概率：11连续出现畅销的次数出现畅销的次数15^1 二 0.5分母中的数为15减1是因为第24季度是畅销，无后续记录，需减1同样得由畅销转入滞销的概率：p -畅销转入滞销的次数—7 -0512 出现畅销的次数 15 -1 •滞销转入畅销的概率：p二滞销转入畅销的次数=7 = 078 21 出现滞销的次数 9 •连续滞销的概率：=连续滞销的次数22出现滞销的次数9 二0.22综上，得销售状态转移概率矩阵为：(0.5P 22 丿10.780.22 丿从上面的计算过程知，所求转移概率矩阵P的元素其实可以直接通过表2中的数字计算 而得到，即将表中数分别除以该数所在行的数字和便可：7p ―11 7 + 77p —12 7 + 77p —21 7 + 22p —22 7 + 7Matlab 程序：format ratclca=[ 1 1 2 1 2 2 1 1 1 2 1 2,1 1 2 2 1 1 2 1 2 1 1 1]; for i=1:2 for j=1:2f(i,j)=length(findstr([i j],a));endendfni=(sum(f'))'for i=1:2p(i,:)=f(i,:)/ni(i);end p由此，推广到一般情况，我们得到估计转移概率的方法：假定系统有m种状态S1, S2,…,S,根据系统的状态转移的历史记录，得到表3的统计表格，以p..表示系统从状态i转移 m i j到状态j的转移概率估计值，则由表3的数据计算估计值的公式如下：i, j = 1, 2,…，mL nk=13)带利润的马氏链在马氏链模型中，随着时间的推移，系统的状态可能发生转移，这种转移常常会引起某 种经济指标的变化．如抗病毒药的销售状态有畅销和滞销两种，在时间变化过程中，有时呈 连续畅销或连续滞销，有时由畅销转为滞销或由滞销转为畅销，每次转移不是盈利就是亏 本.假定连续畅销时盈rii元，连续滞销时亏本r22元，由畅销转为滞销盈利ri2元，由滞销转为畅销盈利r21元，这种随着系统的状态转移，赋予一定利润的马氏链，称为有利润的马氏链．对于一般的具有转移矩阵(P的马氏链，当系统由i转移到jp… P11121N1p… P21222Np… PN1N2NN赋予利润r .(i，j=1，2，pIp丿ij…，N),则称rr…r11121Nrr…r21222N…………rr…rN1N2NN丿5)为系统的利润矩阵，r >0称为盈利，r V0称为亏本,ijijr = 0称为不亏不盈． ij随着时间的变化，系统的状态不断地转移，从而可得到一系列利润，由于状态的转移是随机的，因而一系列的利润是随机变量，其概率关系由马氏链的转移概率决定．例如从抗病毒药的销售状态的转移矩阵，得到一步利润随机变量x『、x(1)的概率分布分别为:x (i)1r11r12概率pp1112其中 p+ p = 1 ，p+ p= 1．11 1221 22如果药品处于畅销阶段即销售状态为i获得的利润是多少？为此，引入一些计算公式=1，x (i)rr22122概率P21P22我们想知道，经过n个季度以后，期望首先，定义v⑺）为抗病毒药现在处于i （i = 1, i2），经过n步转移之后的总期望利润,步转移的期望利润为：v (i) = E (x ⑴)=r p + ri i i1 i 1 ip.r =乞 r .p..i j i j j=1其中E（xi（1））是随机变量x（D的数学期望.二步转移的期望利润为：v ⑵=E (x(2)) = [r + v(1)] p + [r + v(1) ] p =£ [r + v(1)] p i i i1 1 i1 i 2 2 i 2 i j jj=1i2ij其中随机变量x（2）称为二步利润随机变量）的分布为：P(x(2)=rij+v(1))=pij, j=1,2ij例如，若'0.5 0.5、0.4 0.6 丿则抗病毒药销售的一步利润随机变量：x (1)931概率0.50.5x (i)3-72概率0.40.6抗病毒药畅销和滞销时的一步转移的期望利润分别为：v(1) = E(x⑴)=r p + r p = 9 x 0.5 + 3 x 0.5 = 61 1 11 11 12 12v(1) = E(x(1)) = r p + r p = 3 x 0.4 一 7 x 0.6 = -32 2 21 21 22 22二步利润随机变量为：x⑵9+63-31概率0.50.5x⑵3+6-7-32概率0.40.6抗病毒药畅销和滞销时的二步转移的期望利润分别为：v ⑵=E (x ⑵)=[r + v ⑴]p + [r + v ⑴]p1 1 11 1 11 12 2 12=(9 + 6) x 0.5 + (3 - 3) x 0.5 = 7.5v ⑵=E (x(2)) = [r + v ⑴]p + [r + v(1)] p2 2 21 1 21 22 2 22=(3 + 6) x 0.4 + (-7 - 3) x 0.6 = -2.4一般地定义k步转移利润随机变量x(k) (i = 1, 2,…N)的分布为：iP(x(k) = r + v(k-1)) = p j = 1, 2,…Ni i j j i j则系统处于状态i经过k步转移后所得的期望利润v(k)的递推计算式为:iv(k) = E(x(k) ) = 工(ri i i j j i jj=1N乙r p +i j i j j=1NZ v 伙-1)pj i j j=1=v ⑴ + £ v (k -1) pi j i jj=16)当k= 1时，规定边界条件v(0) = 0.i称一步转移的期望利润为即时的期望。