EX&ANS_C4马尔可夫链.doc

练习四：马尔可夫链 随机过程练习题1．设质点在区间[0，4]的整数点作随机游动，到达0点或4点后以概率1停留在原处，在其它整数点分别以概率向左、右移动一格或停留在原处求质点随机游动的一步和二步转移的概率矩阵2．独立地重复抛掷一枚硬币，每次抛掷出现正面的概率为，对于求，令=0，1，2或3，这些值分别对应于第次和第次抛掷的结果为（正，正），（正，反），（反，正）或（反，反）求马尔可夫链的一步和二步转移的概率矩阵3．设为马尔可夫链，试证： （1） （2）4．设为有限齐次马尔可夫链，其初始分布和转移概率矩阵为 ，，试证5．设为随机过程，且，为独立同分布随机变量序列，令，试证是马尔可夫链6．已知随机游动的转移概率矩阵为，求三步转移概率矩阵及当初始分布为时经三步转移后处于状态3的概率7．已知本月销售状态的初始分布和转移概率矩阵如下：（1），；（2），；求下一、二个月的销售状态分布8．某商品六年共24个季度销售记录如表（状态1——畅销，状态2——滞销）季 节123456789101112销售状态112122111212季 节131415161718192021222324销售状态112211212111以频率估计概率。

求（1）销售状态的初始分布；（2）三步转移概率矩阵及三步转移后的销售状态分布10．讨论下列转移概率矩阵的马尔可夫链的状态分类1）；（2）；（3），其中，11．设马尔可夫链的转移概率矩阵为（1）；（2）；计算，，12．设马尔可夫链的状态空间，转移概率矩阵为求状态的分类及各常返闭集的平稳分布13．设马尔可夫链的转移概率矩阵为，求它的平稳分布14．艾伦菲斯特(E renfest)链设甲乙两个容器共有个球，每隔单位时间从这个球中任取一球放入另一容器中，记为在时刻甲容器中球的个数，则是齐次马尔可夫链，称为艾伦菲斯特链，求该链的平稳分布15．将2个红球4个白球任意地分别放入甲、乙两个盒子中，每个盒子放3个，现从每个盒子中各任取一球，交换后放回盒中（甲盒内取出的球放入乙盒中，乙盒内取出的球放入甲盒中），以表示经过次交换后甲盒中红球数，则为一齐次马尔可夫链，（1）求一步转移概率矩阵；（2）证明是遍历链；（3）求16．设为非周期不可约马尔可夫链，状态空间为，若对一切，其一步转移概率矩阵满足条件：，试证（1）对一切，；（2）若状态空间，计算各状态的平均返回时间17．设河流每天的BOD（生物耗氧量）浓度为齐次马尔可夫链，状态空间是按BOD浓度为极低、低、中、高分别表示的，其一步转移概率矩阵（以一天为单位）为。

若BOD浓度为高，则称河流处于污染状态1）证明该链是遍历链；（2）求该链的平稳分布；（3）河流再次达到污染的平均时间答 案1．解：质点随机游动的一步转移的概率矩阵为质点随机游动的二步转移的概率矩阵为2．解：马尔可夫链的一步转移的概率矩阵为马尔可夫链的一步和二步转移的概率矩阵为3．证： （1） （2） 4．证： 5．解：由题意知是的函数，由于是相互独立的随机变量，故对，与独立 由，的任意性知为马尔可夫链6．解：，7．解：，8．解：，，9．解： ，两个闭集10．解：（1），两个遍历状态闭集 （2）遍历闭集，非常返态 （3），是吸收态闭集，是非常返集11．解：（1），，；，，；，，；，，12．解：，非常返集，，是正常返闭集由转移矩阵 解得的平稳分布为；同理，的平稳分布为13．解：，，14．解：的转移概率为 ，，，， 其平稳分布满足方程组 解此方程组得 由条件 得 故的平稳分布为，15．解：（1） （2）由于是有限的，中所有状态是互通的，且状态0是非周期的，故为遍历链 （3）由平稳分布满足的方程组 解方程组得：，， ，，16．解：（1）用归纳法设当时，对一切，都有，则 （2）由条件知为非周期不可分马尔可夫链，且状态空间有限，故为遍历链，因此 ，所以，，17．解：（2），，，；（3）（天）练习五：连续时间的马尔可夫链 随机过程练习题1．设连续时间马尔可夫链具有转移概率 其中是正数，表示一个生物群体在时刻的成员总数，求柯尔莫哥洛夫方程，转移概率。

提示：利用以下结果，若为实数，为连续函数，，则）2．一质点在1，2，3点上作随机游动若在时刻质点位于这三个点之一，则在内，它以概率分别转移到其它二点之一试求质点随机游动的柯尔莫哥洛夫方程，转移概率及平稳分布3．在某车间有台车床，由于各种原因车床时而工作，时而停止假设时刻，一台正在工作的车床，在时刻停止工作的概率为，而时刻不工作的车床，在时刻开始工作的概率为，且各车床工作情况是相互独立的若表示时刻正在工作的车床数，求（1）齐次马尔可夫过程的平稳分布；（2）若，，，系统处于平稳状态时有一半以上车床在工作的概率4．排队问题设有一服务台，内到达服务台的顾客数是服从泊松分布的随机变量，即顾客流是泊松过程单位时间到达服务台的平均人数为服务台只有一个服务员，对顾客的服务时间是按指数分布的随机变量，平均服务时间为如果服务台空闲时到达的顾客立即接受服务；如果顾客到达时服务员正在为另一顾客服务，则他必须排队等候；如果顾客到达时发现已经有二人在等候，则他就离开而不再回来设代表在时刻系统内的顾客人数（包括正在被服务的顾客和排队等候的顾客），该人数就是系统处于状态于是这个系统的状态空间为；又设在时系统处于状态0，即服务员空闲着。

求过程的矩阵及时刻系统处于状态的绝对概率所满足的微分方程5．一条电路供个焊工用电，每个焊工均是间断用电现作如下假设：（1）若一焊工在时用电，而在内停止用电的概率为；（2）若一焊工在时没有用电，而在内用电的概率为每个焊工的工作情况是相互独立的设表示在时刻正在用电的焊工数1）求该过程的状态空间和矩阵；（2）设，求绝对概率满足的微分方程；（3）当时，求极限分布6．设内到达的顾客服从泊松分布，参数为设有单个服务员，服务时间为指数分布的排队系统（M/M/1），平均服务时间为试证明：（1）在服务员的服务时间内到达顾客的平均数为；（2）在服务员的服务时间内无顾客到达的概率为答案：1．解：柯尔莫哥洛夫向前方程为 由初始条件：解得2．解：，柯尔莫哥洛夫向前方程为 状态空间为，故，代入以上方程得由初始条件：确定，得 故其平稳分布，3．解：（1）据题意，是连续时间的马尔可夫链，状态空间为 设时刻有台车床在工作，则在内又有一台车床开始工作，则在不计高阶无穷小时，它应等于原来停止工作的台车床中，在内恰有一台开始工作，则；同样地，，，，因此，它的平稳过程为，，（2）4．解：据题意，是连续时间的马尔可夫链，状态空间为。

绝对概率满足柯尔莫哥洛夫方程：初始条件：5．解：据题意，是连续时间的马尔可夫链，状态空间为绝对概率满足柯尔莫哥洛夫方程：由于（常数），故从以上方程组可解出，6．设服务员的服务时间为，则由题意知：以表示在内到达的顾客数，则1）在服务员的服务时间内到达顾客的平均数为（2）。