马氏链模型习题

马氏链模型习题,范萌萌 mmfanzzu.edu.cn 2018.7.14,马氏链模型,系统在每个时期所处的状态是随机的.,从一时期到下时期的状态按一定概率转移.,下时期状态只取决于本时期状态和转移概率. 已知现在，将来与过去无关（无后效性）,描述一类重要的随机动态系统(过程)的模型.,马氏链 (Markov Chain) 时间、状态均为离散的随机转移过程,具有无后效性的，时间、状态均为离散的随机转移 过程，通常用马氏链（Markov Chain）模型描述。,马氏链模型在经济、社会、生态、遗传等许多领域 有广泛应用，不仅可以解决随即转移过程，还可以 处理一些确定性系统的状态转移问题。,马氏链的基本方程,基本方程,马氏链的两个重要类型,1. 正则链 从任一状态出发经有限次转移能以正概率到达另外任一状态 (如例1) .,w 稳态概率,马氏链的两个重要类型,2. 吸收链 存在吸收状态（一旦到达就不会离开的状态i, pii=1）,且从任一非吸收状态出发经有限次转移能以正概率到达吸收状态 (如例2).,有r个吸收状态的吸收链的转移概率阵标准形式,R有非零元素,yi 从第 i 个非吸收状态出发，被某个吸收状态吸收前的平均转移次数.,信息传播问题,一条消息在,等人中传播，传播,的方式是,传给,传给,如此继续下去，每次传播都是由,传给,每次传播消息的失真率为,即,将消息传给,时，传错的概率为,这样经过长时间传播第n个人得知消息时，消息 的真实程度如何？,习题1,第n个人知道消息可能是真，也可能是假，有两种状态，记为,表示消息假；,表示消息真；,用,表示第,个人处于状态,的概率，,即状态概率为,由题意，状态转移概率矩阵为,求解,习题2,若顾客的购买是无记忆的，即已知现在顾客购买的情况，未来顾客的购买情况不受过去购买历史的影响，而只与现在购买情况有关。现在市场上供应A、B、C三个不同厂家生产的50克袋装味精。若已知第一次顾客购买三个厂味精的概率依次为0.2、0.4、0.4，又知道一般顾客的购买倾向由下表给出。（1）求顾客第四次购买各家味精的概率。（2）从长期看这三家厂商的市场占有率分别是多少？,习题2,习题2,习题3,甲、乙两人进行比赛，设每局比赛中甲胜的概率是p，乙胜的概率是q，和局的概率是r，（ ）。设每局比赛后，胜者记“+1”分，负者记“1”分，和局不记分。当两人中有一人获得2分结束比赛。以 表示比赛至第n局时甲获得的分数。,（1）写出状态空间；,（3）问在甲获得1分的情况下，再赛二局可以结束比赛的概率是多少？,解,（1）,记甲获得“负2分”为状态1，获得“负1分”为状态2，获得“0分”为状态3，获得“正1分”为状态4，获得“正2分”为状态5，则状态空间为,一步转移概率矩阵,（2）二步转移概率矩阵,（3）,从而结束比赛的概率；,从而结束比赛的概率。,所以题中所求概率为,习题4,智力竞赛问题 甲、乙两队进行智力竞赛。竞赛规则规定：竞赛开始时，甲、乙两队各记2分，在抢答问题时，如果甲队赢得1分，那么甲队的总分将增加1分，同时乙队总分将减少1分。当甲（或乙）队总分达到4分时，竞赛结束，甲（或乙）获胜。根据队员的智力水平，知道甲队赢得1分的概率为p，失去1分的概率为 1-p，求,（1）甲队获胜的概率是多少；,（3）甲队获得1、2、3分的平均次数是多少？,（2）竞赛从开始到结束，分数转移的平均次数是多少？,解,（1）,解,（1）,解,（1）,分析,习题5 赌徒输光问题,赌徒甲有资本a元，赌徒乙有资本b元，两人进行赌博，每赌一局输者给赢者1元，没有和局，直赌至两人中有一人输光为止。设在每一局中，甲获胜的概率为p，乙获胜的概率为 ，求甲输光的概率。,这个问题实质上是带有两个吸收壁的随机游动。从甲的角度看，他初始时刻处于a，每次移动一格，向右移（即赢1元）的概率为p，向左移（即输1元）的概率为q。如果一旦到达0（即甲输光）或a + b（即乙输光）这个游动就停止。这时的状态空间为0，1，2，c，c = a + b，。现在的问题是求质点从a出发到达0状态先于到达c状态的概率。,考虑质点从j出发移动一步后的情况,解,同理,根据全概率公式有,这一方程实质上是一差分方程，它的边界条件是,首页,于是,设,则可得到两个相邻差分间的递推关系,于是,欲求,先求,需讨论 r,当,而,两式相比,故,当,而,因此,故,用同样的方法可以求得乙先输光的概率,由以上计算结果可知,服务网站问题,习题6,问题分析及符号说明,问题分析 服务请求要么被拒绝或者接受，要么到达某个工作站等待处理 建模目标 分析服务请求被接受或者拒绝的概率,用随机变量,表示第 n 个阶段的状况,服务请求被拒绝,服务请求被接受,转移概率矩阵为：,可以计算为：,空气污染问题,有 k 个城市 ，每一时刻 t = 0,1,2,的空气中污染物浓度 ，从t 到t+1， 空气,中污染物扩散到 去的比例是 ，有,扩散到k个城市之外的那部分污染物永远不再回来。,在每个时刻各城市的污染源都排出一定的污染物，,记 排出的为 。,按照环境管理条例要求，,对充分大的 t 必须 。,习题7,试建立马氏链模型，在已知 和 的条件下,确定 的限制范围，满足管理条例的要求。,设 k = 3 , 由以下矩阵给出,求 的限制范围。,基本模型,污染物浓度 c(t)=(c1(t), c2(t), ck(t)，ci(t) 第t 年地区i 的污染物浓度， t =0,1,2,，i=1,2, , k,转移矩阵 Q=pijkk, pij 每年污染物从地区i 转至j 的比例,Q表示污染物扩散比例， 为排放浓度。,