马尔科夫预测法介绍.ppt

单击此处编辑母版标题样式,,,*,单击此处编辑母版文本样式,,第二级,,第三级,,第四级,,第五级,,马尔科夫预测法,,,,第一节 基本原理,,一、基本概念,,1.随机变量 、 随机函数与随机过程,,一变量x，能随机地取数据（但不能准确地预言它取何值），而对于每一个数值或某一个范围内的值有一定的概率，那么称x为随机变量假定随机变量的可能值,x,i,发生概率为P,i,,即P(,x,=,x,i,) = P,i,,对于,x,i,的所有n个可能值，有离散型随机变量分布列：,,∑P,i,= 1,,对于连续型随机变量，有,,∫,P(x)dx = 1,,,,,在试验过程中，随机变量可能随某一参数（不一定是时间）的变化而变化.,,如测量大气中空气温度变化x = x(h),随高度变化这种随参变量而变化的随机变量称为随机函数而以时间t作参变量的随机函数称为随机过程也就是说：随机过程是这样一个函数，在每次试验结果中，它以一定的概率取某一个确定的，但预先未知的时间函数2、马尔科夫过程,,随机过程中，有一类具有“无后效性性质”，即当随机过程在某一时刻to所处的状态已知的条件下，过程在时刻t>to时所处的状态只和to时刻有关，而与to以前的状态无关，则这种随机过程称为马尔科夫过程。

即是：,i,to,为确知,,i,t,(t>to)只与,i,to,有关，这种性质为无后效性，又叫马尔科夫假设简例：设x(t)为大米在粮仓中t月末的库存量，则,,x(t) = x(t,―,1)—y(t) +G(t),,,t,月的转出量,,第,t,―,1,月末库存量 ,G(t)为当月转入量,,x(t),可看作一个马尔科夫过程3、马尔科夫链,,时间和状态都是离散的马尔科夫过程称为马尔科夫链例：蛙跳问题,,假定池中有N张荷叶，编号为1，2，3,……,N，即蛙跳可能有N个状态（状态确知且离散）青蛙所属荷叶，为它目前所处的状态；因此它未来的状态，只与现在所处状态有关，而与以前的状态无关（无后效性成立）,,,,,,,1,2,3,4,P,33,P,22,P,44,P,41,P,42,P,31,P,32,,,写成数学表达式为：,,P( x,t+1,= j | x,t,= i,t,, x,t-1,,,=,i,t,―1,,,……x,1,= i,1,),,=P( x,t+1,= j | x,t,= i,t,),,定义：P,ij,= P( x,t+1,= j | x,t,= i),,即在x,t,= i的条件下，使 x,t+1,= j的条件概率，是从 i状态一步转移到j状态的,概率,，因此它又称一步状态转移概率。

由状态转移图，由于共有,N,个状态，所以有,,,,二．状态转移矩阵,,1.一步状态转移矩阵,,系统有N个状态，描述各种状态下向其他状态转移的概率矩阵,,P,11,P,12,…… P,1N,,,定义为 P,21,P,22,…… P,2N,,,: : :,,P,N1,P,N2,…… P,NN,,,这是一个N阶方阵，满足概率矩阵性质,,1）,P,ij,≥ 0,i,j = 1,2, ……, N 非负性性质,,2,）,∑,P,ij,=,1,,行元素和为,1 ,i=1,2,…N,N×N,,P =,,,,如： W,1,= [1/4, 1/4, 1/2, 0],,W,2,= [1/3, 0, 2/3],,W,3,= [1/4, 1/4, 1/4, 1/2],,W,4,= [1/3, 1/3, -1/3,0, 2/3],,3,）若,A,和,B,分别为概率矩阵时，则,AB,为概率矩阵概率向量,非概率向量,,,2.稳定性假设,,若系统的一步状态转移概率不随时间变化，即转移矩阵在各个时刻都相同，称该系统是稳定的这个假设称为稳定性假设蛙跳问题属于此类，后面的讨论均假定满足稳定性条件。

{2004/11/22},,,3.k步状态转移矩阵,,经过k步转移由状态i转移到状态j的概率记为,,P(,x,t+k,=j |,x,t,= i) = P,ij,(k),,,i,j = 1,2, ……, N,,定义：k步状态转移矩阵为：,,,P,11,(k),P,12,(k),…… P,1N,(k),,P = : : :,,,P,N1,(k),P,N2,(k),…… P,NN,(k),,当系统满足稳定性假设时,,P = P = P• P•,……,P,,其中P为一步状态转移矩阵即当系统满足稳定性假设时，,k,步状态转移矩阵为一步状态转移矩阵的k次,方.,[k],[k],,,k,,,,例：设系统状态为N = 3，求从状态1转移到状态2的,,二步状态转移概率.,,解：作状态转移图,,,,,,解法一：由状态转移图：,,1,——,1,——,2: P,11,•,,P,12,,1,——,2,——,2: P,12,•,,P,22,,1,——,3,——,2: P,13,•,,P,32,,P,12,= P,11,,•,,P,12,+ P,12,•,,P,22,+P,13,•,,P,32,,=,∑,P,1i,•,,P,i2,,,1,3,2,P,13,P,32,P,11,P,12,P,12,P,22,,,解法二： k = 2, N = 3,,P,11,(2) P,12,(2) P,13,(2),,P = P,21,(2) P,22,(2) P,23,(2),,P,31,(2) P,32,(2) P,33,(2),,P,11,P,12,P,13,P,11,P,12,P,13,,= P,•,P = P,21,P,22,P,23,P,21,P,22,P,23,,P,31,P,32,P,33,P,31,P,32,P,33,,得：,P,12(2),= P,11,,•,,P,12,+ P,12,•,,P,22,+P,13,•,,P,32,,=,∑,P,1i,•,,P,i2,,,,,,例：味精销售问题,,已连续统计六年共24个季度，确定畅销，滞销界限，即只允许出现两种状态，且具备无后效性。

设状态1为畅销，状态2为滞销,作出状态转移图:,,,,,,,图中: P,11,为当前畅销，连续畅销概率；,,P,12,为当前畅销，转滞销概率；,,P,22,为当前滞销，连续滞销概率；,,P,21,为当前滞销，转畅销概率1,2,P,22,P,11,P,12,P,21,,,数据在确定盈亏量化界限后的统计表如下：,,t 1 2 3 4 5 6 7 8 9 10 11 12 13,,状态,① ① ② ① ② ② ① ① ① ② ① ② ①,,t 14 15 16 17 18 19 20 21 22 23 24,,状态,① ② ② ① ① ② ① ② ① ① ①,,,进行概率计算时，第二十四个季度为畅销，但后续是什么状态不知，故计算时不能采用，只用于第二十三季度统计。

有：,P,11,= 7/(7 + 7) = 0.5;,P,12,= 7/(7 + 7) = 0.5;,,P,21,= 7/(7 + 2) = 0.78;,P,22,= 2/(7 + 2) = 0.22,,则 0.5 0.5,,0.78 0.22,,此式说明了：若本季度畅销，则下季度畅销和滞销的可能性各占一半,,,若本季度滞销，则下季度滞销有,78%,的把握，滞销风险,22%,P =,,,二步状态转移矩阵为：,,0.5 0.5 0.5 0.5,,0.78 0.22 0.78 0.22,,0.64 0.36,,0.5616 0.4384,,P,11,(2) P,11,(2),,P,11,(2),,P,11,(2),=,=,P = P =,2,[2],,,三.稳态概率：,,用于解决长期趋势预测问题即：当转移步数的不断增加时，转移概率矩阵 P 的变化趋势1.正规概率矩阵定义：若一个概率矩阵,P,，存在着某一个正整数m,使P,,的所有元素均为正数（,P,ij,>o,），则该矩阵称为正规概率矩阵,,[k],,,例： 1/2 1/4 1/4,,P = 1/3 1/3 1/3 为正规概率矩阵,,2/5 1/5 2/5,,0 1 P,11,= 0,,1/2 1/2,,但当 m = 2， 有 有P,ij,>0,,它也是正规概率矩阵。

P 每个元素均为正数）,,但,1 0,,0 1,就找不到一个正数m,使P 的每一个元素均大于,0,，所以它不是正规概率矩阵½ ½,,¼ ¾,P =,2,2,P =,m,P =,2,,,2.固定概率向量（特征概率向量）,,设 P为NN概率矩阵,若U = [U,1,, U,2,,…, U,N,]为概率向量,且满足UP = U,称U为P的固定概率向量,,,,例 0 1,,1/2 1/2 为概率矩阵,,P的固定概率向量 U = [ 1/3 , 2/3],,检验 UP = [1/3 2/3] 0 1,,1/2 1/2,,=[1/3 2/3],P =,,,3.正规概率矩阵的性质,,定理一 设P为NXN正规概率矩阵，则,,A .P有且只有一个固定概率向量,,U = [U,1,,U,2,, …… U,N,],,且U的所有元素均为正数 U,i,> 0,,B.NXN方阵P的各次方组成序列 P, P, P,,…… ,,P 趋于方阵T，且T的每一个行向量都是固定概率向量U。

即 U,1,U,2,…… U,N,U,,lim P,k,= T = : : : = :,,U,1,U,2,…… U,N,U,,这个方阵T称稳态概率矩阵2,3,k,,,这个定理说明：无论系统现在处于何种状态，在经过足够多的状态转移之后，均达到一个稳态因此，欲求长期转移概率矩阵，即进行长期状态预测，只要求出稳态概率矩阵T；,,,而,T,的每个行向量都是固定概率向量，所以只须求出固定概率向量,U,就行了,!,,,,定理二：设X为任意概率向量，则XT = U,,即任意概率向量与稳态概率矩阵之点积为固定概率向量事实上：,U,1,U,2,…… U,N,,,XT = X• : : : = [U,1,∑X,i,U,1,∑X,i,…… U1∑X,i,],,,,U,1,U,2,…… U,N,,,= [,U,1,U,2,…… U,N,,],,= U,,,例：若 0.4 0.3 0.3,,P = 0.6 0.3 0.1 求T,,0.6 0.1 0.3,,解：设 U = [U,1,U,2,U,3,] = [U,1,U,2,1－U,1,－U,2,],,由 UP = U 有,,,,,0.4 0.3 0.3,,[U,1,,U,2,,1－U,1,－U,2,],,0.6 0.3 0.1 =,[,U,1,,U,2,,U,3,],,0.6 0.1 0.3,,,,,即 -0.2U,1,+ 0.6 = U,1,→ U,1,= 0.5,,0.2U,1,+ 0.2U,2,+ 0.1 =U,2,→ U,2,= 0.25,,-0.2U,2,+ 0.3 = U,3,→ U,3,= 0.25,,∴ U = [0.5 0.25 0.25],,则 0.5 0.25 0.25,,T = 0.5 0.25 0.25,,0.5 0.25 0.25,,说明：,,不管系统的初始状态如何，当系统运行时间较长时，转移到各个状态的概率都相等。

列向量各元素相等）,,即 各状态转移到1状态都为0.5;,,2,状态都为,0.25 ;,,3状态都为0.25,,,,第二节,,市场占有率预测,,,商品在市场上参与竞争，都拥有顾客，并由此而产生销售，事实上，同一商品在某一地区所有的N个商家（或不同品牌的N个同类产品）都拥有各自的顾客，产生各自销售额，于是产生了市场占有率定义：,,设某一确定市场某商品有N个不同品牌（或N个商家）投入销售，第i个商家在第j期的市场占有率,,Si(j) = xi(j)/x i =1,2, …… N,,其中 xi(j)为第i个商家在第j期的销售额（或拥有顾客数）,,x为同类产品在市场上总销售额（或顾客数）,,市场占有率所需数据可通过顾客抽样调查得到一般地,首先考虑初始条件,设当前状态（即j = 0 ）,,为 S(0) = [S,1,(0) S,2,(0),……,S,N,(0)],,第i个商家,S,i,(,0,) = x,i,(,0,),/x,→,x,i,(,0,),= S,i,(,0,) x,,即当前第i个商家市场占有率与初始市场占有率及市场总量有关.,,同时假定满足无后效性及稳定性假设.,,由于销售商品的流通性质,有第i个商家第j期销售状况为,,,,x,i,(k) = x,1,(0)P,1i,(k) + x,2,(0)P,2i,(k)+,……+,x,N,(0)P,Ni,(k),,= xS,1,(0)P,1i,(k) +xS,2,(0)P,2i,(k) +,……+,xS,N,(0)P,Ni,(k),,P,1i,(k),,= x[S,1,(0) S,2,(0),……S,N,(0),] P,2i,(k),,:,,P,Ni,(k),,有：S,i,(k) = x,i,(k)/x P,1i,(k),,= [S,1,(0) S,2,(0),……S,N,(0),] P,2i,(k),,:,,P,Ni,(k),,,,故可用矩阵式表达所有状态:,,[S,1,(k),S,2,(k),,……,,S,N,(k)]=,,[S,1,(0),S,2,(0),,……,,S,N,(0)] P,,即 S(k) = S(0) P,,当满足稳定性假设时,有,,S(k) = S(0) P,,这个公式称为已知初始状态条件下的市场占有率,k,步预测模型,.,[k],k,[k],,,例:东南亚各国味精市场占有率预测,,,初期工作:,,a)行销上海,日本,香港味精,确定状态1,2,3.,,b)市场调查,求得目前状况,即初始分布,,c)调查流动状况;上月转本月情况,求出一步状态转移概率.,,1)初始向量:,,设 上海味精状况为1;,,日本味精状况为2;,,香港味精状况为3;,,有,,S(0) = [S,1,(0) S,2,(0) S,3,(0)] = [0.4 0.3 0.3],,,2)确定一步状态转移矩阵,,P,11,P,12,P,13,0.4 0.3 0.3,,P = P,21,P,22,P,23,= 0.6 0.3 0.1,,P,31,P,32,P,33,0.6 0.1 0.3,,3),3 步状态转移矩阵(假定要预测3个月后),,P,11,(3) P,12,(3) P,13,(3) 0.496 0.252 0.252,,P,3,= P,21,(3) P,22,(3) P,23,(3) = P = 0.504 0.252 0.244,,P,31,(3) P,32,(3) P,33,(3) 0.504 0.244 0.252,,,3,,,4)预测三个月后市场,,0.496 0.252 0.252,,S(3) = S(0)P,3,=[0.4 0.3 0.3] 0.504 0.252 0.244,,0.504 0.244 0.252,,,S,1,(3) = 0.4×0.496 +0.3×0.504 + 0.3×0.504 = 0.5008,,S,2,(3) = 0.2496,,S,3,(3) = 0.2496,,,,,二.长期市场占有率预测,,这是求当 k,→,∞,,时 S(k),→,?,,我们知道:,,S(k) = S(0) P,,lim S(k) = S(0) lim P = S(0),•,T = U,,因此,在已知初始条件下求长期市场占有率就是求稳态概率矩阵,也是求固定概率向量.,,求固定概率向量的方法,,,我们在前一节已有例子,,,只不过说明了长期市场占有率也是只与稳态矩阵有关,,,与初始条件无关,.,[k],[k],,,上面味精例子,,,0.4 0.3 0.3,,已知 P = 0.6 0.3 0.1,,0.6 0.1 0.4,,0.5 0.25 0.25,,求出 T = 0.5 0.25 0.25 = lim P,k,,0.5 0.25 0.25,,lim S(k) = [0.5 0.25 0.25],,即中国味精可拥有,50%,的长期市场,.,,,第三节 期望利润预测,,是考虑:一个与经济有关随机系统在进行状态转移时,利润要发生相应变化,例如商品连续畅销到滞销,显然在这些过程变化时,利润变化的差距是很大的.,,所以有如下的定义:,,,若马尔科夫链在发生状态转移时,,,伴随利润变化,,,称这个马尔科夫链为带利润的马尔科夫链,.,,,设系统有N个状态,,状态i经过一步转移到状态j时(即当事件发生时,P,ij,= 1)所获得的利润为,r,ij,i,j = 1,2,,……,N,,于是有利润矩阵,,,r,11,r,12,……,r,1N,,R =,r,21,r,22,……,r,2n,,: : :,,,r,N1,r,N2,……,r,NN,,显然 ,,r,ij,> 0 盈利 ;,r,ij,< 0 亏损 ;,r,ij,= 0 平衡,,由于系统状态转移为随机的,,,得到的利润也应当是随机的,,,这个利润只能是期望利润,.,,,,11、即时期望利润(一步状态转移期望利润),,考虑状态 i,,状态转移 i,→1,i,→,2,……,i,→,i,……,i,→,N,,一步转移概率 P,i1,Pi2,……,Pii,……,P,iN,,利润变化 ri1 ri2 rii riN,,所以:从i转到1的期望利润值 P,11,r,11,,从i转到2的期望利润值 P,12,r,12,,: :,,从i转到i的期望利润值 Piirii,,: :,,,从i转到,N,的期望利润值,P,1N,r,1N,,,而从状态i开始经过一步转移后所得到的期望利润值为,,,∑P,ij,r,ij,= P,i1,r,i1,+ P,i2,r,i2,……,,P,iN,r,iN,,这个值称为即时期望利润,又是一步状态转移期望利润,是概率定义下的利润均值.,,记为 V,i,= Vi =,∑P,ij,r,ij,,,特别地Vi = 0,,,即当,k = 0,,未转移,,,没有利润变化,.,,[1],[0],,,2. k步转移期望利润递推公式,,k步转移期望利润可以分解为两步,即一步和k,―,1步,,,一步转移期望利润为,V,i,=,∑P,ij,r,ij,,,现考虑k,―,1步,,首先,从0时刻到1时刻发生了一步状态转移,假定 状态已转移1状态(令,P,ij,= 1,)后,从1状态开始 k,―,1 步转移后达到期望利润为V,1,[k-1],.,,而i状态转移到,1,状态的发生概率为,P,i1,,,因此i状态先转移到,1,状态后的,k,―,1,步实际期望利润为,P,i1,•,V,1,[k-1],,,[k,―,1],,,,同理 i状态先转到2状态后的k,―,1步实际期望利润为,,,,P,i2,•,,V,2,,,即:各实际期望利润之和,构成了初始状态为i的 k,―,1步转移后的转移期望利润 :,∑P,ij,V,j,,,k步转移期望利润,,V,i,= V,i,+,∑P,ij,V,j,,=,∑P,ij,r,ij,+,,,∑P,ij,V,j,,,=,∑P,ij,(r,ij,+,,V,j,),,以上公式为k步转移期望利润递推公式,,此公式可改写为矩阵递推式:,,由,Vi = Vi +,∑P,ij,V,j,[k,―,1],[k,―1,],[k],[1],,[k,―,1],[k,―,1],[k,―,1],[k],[k,―,1],,,,V,1,,定义 V =,V,2,为j步转移期望利润列向量,,:,,V,N,,V,1,,V = V,2,为即时期望利润列向量,,:.,,V,N,,P,11,P,12,P,1N,,: : : 为一步状态转移概率矩阵,,P,N1,P,N2,P,NN,,有V = V +PV,[j],[j],[j],[j],P =,[K],,[k,―1,],,,例:设某商品销售状态分别为畅销(状态1)及滞销(状态2),销售状态转移概率矩阵为,,P,11,P,12,0.5 0.5,,P,21,P,22,0.4 0.6,,利润矩阵,,,r,11,,r,12,5 1,,,r,21,,r,22,1 -1,,试预测三个月后的期望利润,.,,=,P =,=,R =,,,解:利用递推公式顺序推出,,,即时期望利润 Vi =,∑P,ij,r,ij,,,V,1,=,∑P,1j,r,1j,= P,11,r,11,+ P,12,r,12,,= 0.5,×,5 + 0.5,×,1 = 3(百万元),,V,2,=,∑P,2j,r,2j,= P,21,r,21,+ P,22,r,22,,= 0.4,×1 + 0.6,×,(-1)= -0.2(百万元),,V1: 本月畅销,一月后可期望获利300万,,V2: 本月滞销,一个月后预测亏损20万,,由,V,1,=,∑,P,1,j,(,r,1j,+ V,j,),[k],[k-1],,,V,1,=,∑,P,1j,(r,1j,+ V,j,),,= P,11,( r,11,+ V,1,) + P,12,( r,12,+ V,2,),,= 0.5(5 + 3) + 0.5(1,―0.2,),,= 4.4 (百万),,即本月畅销,预计两个月后可期望获利440万元,,V,2,=,∑,P,2j,(r,2j,+ V,j,),,= P,21,(r,21,+ V,1,) + P,22,(r,22,+ V,2,),,= 0.4(1 +3) + 0.6(-1,―,0.2),,= 0.88(百万),,即本月滞销,,,两月后可期望获利,88,万元,.,[2],[2],,,由此,可推出本题结果:,,V,1,=,∑,P,1j,(,r,1j,+ V,j,),,= P,11,(,r,11,+ V,1,) + P,12,(,r,12,+ V,2,),,= 0.5(5 + 4.4) + 0.5(1+0.8) = 5.64 (,百万,),,V,2,=,∑,P,2j,(,r,2j,+ V,j,),,= P,21,(,r,21,+ V,1,) + P,22,(,r,22,+ V,2,),,= 0.4(1 + 4.4) + 0.6(-1+0.88) = 2.088(,百万,),,答案:若本月畅销,三月后将期望盈利564万元,,若本月滞销,三月后将期望盈利208.8万元.,,,[3],[2],[2],[2],[3],[2],[2],[2],,,。