随机过程-习题-第2章.doc

2.1 设是一马尔可夫过程，又设试证明：即一个马尔可夫过程的反向也具有马尔可夫性证明：首先，由条件概率的定义式得根据马尔可夫性将上式中的分子和分母展开，并化简得于是，2.2 试证明对于任何一个马尔可夫过程，如“现在”的值为已知，则该过程的“过去”和“将来”是相互统计独立的，即如果有，其中代表“现在”，代表“过去”，代表“将来”，若为已知值试证明：证明：首先，由条件概率的定义式得然后，根据马尔可夫性将上式中的分子展开，并化简得 2.3 若是一马尔可夫过程，试证明：证明：首先，利用性质：得于是，由马尔可夫性得再利用性质得=2.4 若有随机变量序列，且之间相互统计独立，的概率密度函数为，定义另一随机变量序列如下：试证明：（1）序列具有马尔可夫性； （2）(1) 证明：由于相互统计独立，其n维联合概率密度函数为由随机变量序列与的关系可得如下的雅可比行列式所以，的n维联合概率密度函数为于是，由于且所以，因此所以，序列具有马尔可夫性2) 证明：根据条件均值的定义得于是，由给定的关系和2.5 设有随机过程x(n) (n=1，2，3，…)，它的状态空间I：{x：0

设x (1)为（0，1）间均匀分布的随机变量，即x (1)的概率密度为x (1), x (2),…, x (m)的联合概率密度为(1) 求x (2)的边际概率密度f2(x2)；(2) 试问该过程是否为马尔可夫过程；(3) 求转移概率密度f2|1(x2| x1)，……，fm|m-1(xm| x m -1)4) 求1) 解：由给出的x (1), x (2),…, x (m)的联合概率密度函数可知其分布区域如右图加黑部分所示因此，的边际概率密度函数为1(2) 证明：因为 (0< xm

所以，该过程为马尔可夫过程其转移概率密度为2.7 有三个黑球和三个白球把六个球任意等分给甲乙两个袋中，并把甲袋中的白球数定义为该过程的状态，则有四种状态：0，1，2，3现每次从甲、乙两袋中各取一球，然后互相交换，即把从甲袋取出的球放入乙袋，把从乙袋取出的球放入甲袋，经过n次交换，过程的状态为(n=1，2，3，4，…)1) 试问此过程是否为马尔可夫链；(2) 计算它的一步转移概率矩阵1) 证明：显然，该过程由当前状态转移到另一个状态的转移概率只与当前状态和转移到的状态有关，与其它时刻的状态无关因此，该过程是为马尔可夫链2) 解：以甲袋中的白球数i作为该过程的状态当和3时，过程状态由i转移到j概率为当i=0时，，；当i=3时，，于是，一步转移概率矩阵为：2.8 设是一马尔可夫链，它的状态转移空间为I：{0，1，2}，它的初始状态的概率分布为，，；它的一步转移概率矩阵为(1) 计算概率；(2) 计算1) 解：由马尔可夫性可得其中，于是(2) 解：二步转移概率矩阵为所以，另一种解法是根据切普曼-柯尔莫哥洛夫方程得2.9 设有马尔可夫链，它的状态转移空间为I：{0，1，2}，它的一步转移概率矩阵为(1) 试求，并证明；(2) 求。

1) 证明：和分别为所以，(2) 解：实际上，一步转移概率矩阵可以经过行列变换为由此可见，这是一个周期为2的马尔可夫链所以，当n为奇数时n为偶数时2.10 设有马尔可夫链，它的状态转移空间为I：{0，1}，它的一步转移概率矩阵为试用数学归纳法证明证明：当n=1时，显然是成立的假设成立，即则当时所以结论成立2.11 设有马尔可夫链，它的状态空间为，它的一步转移概率矩阵为试求（利用矩阵的特征值、特征矢量方法计算）解：解算此题有以下三种方法：[方法一]：利用矩阵的相似变换：首先，容易解得矩阵的两个特征值和对应的特征向量分别为由这些特征向量做为列向量构成的矩阵Q和其逆阵Q-1为与矩阵存在如下关系 并且于是得[方法二]：利用矩阵的特征值、特征矢量：首先，由下面的等价关系可知是的特征值，的特征向量是的特征向量因此，可由的所有特征值和特征向量，利用这个等式解设对于本题，可得方程组如下解得的值与方法一的结果相同[方法三]：利用母函数：首先，转移概率矩阵对应的母函数为将矩阵的第一行第一列元素展开成s的级数为其中，sn项的系数就是的第一行第一列元素，即同理可得2.12 天气预报问题其模型是：今日是否下雨依赖于前三天是否有雨(即一连三天有雨；前面两天有雨，第三天是晴天；…)，问能否把这个问题归结为马尔可夫链。

如果可以，问该过程的状态有几个？如果过去一连三天有雨，今天有雨的概率为0.8；过去三天连续为晴天，而今天有雨的概率为0.2；在其它天气情况时，今日的天气与昨日相同的概率为0.6求这个马尔可夫链的转移矩阵解：此问题本来不是马尔可夫链，但是通过将连续三天的天气情况定义为一个状态，则可以认为是一个马尔可夫链每天的天气状况分为有雨（用“1”表示）和无雨（用“0”表示）两种情况，所以该马尔可夫链有23=8中状态将连续四天的天气情况用Y和N表示例如，前三天有雨，第四天无雨，则表示为YYYN根据题意可知，如果过去一连三天有雨，今天有雨的概率为0.8；过去三天连续为晴天，而今天有雨的概率为0.2；即P{1111}=0.8，P{0001}=0.2，在其它天气情况时，今日的天气与昨日相同的概率为0.6，即P{0011}= P{0111}=P{1011}=0.6P{1100}=P{0000}= P{0100}=P{1000}=0.6于是可得其它的概率值为P{0000}=1-P{0001}=0.8，P{0010}=1-P{0000}=0.2，P{0101}=1-P{0100}=0.4P{0110}=1-P{0111}=0.4，P{1001}=1-P{1000}=0.4，P{1010}=1-P{1011}=0.4因此，概率转移矩阵为2.13 设有马尔可夫链，它的状态空间为I：{0，1}，它的一步转移概率矩阵为试求，，，，，。

解：，另一种方法是利用母函数由下面的关系可得就是项的系数，就是项的系数，就是项的系数所以，同理可得，，两种方法的结果是一致的，但是后一种方法不会漏项，尤其在中n很大时只能采用这种方法3.14 设有一个三状态{0，1，2}的马尔可夫链，它的一步转移概率为试求，，，，，解：此题也可以用习题2.13的方法，通过求获得上述值。