《状态空间的分解》PPT课件.ppt

3. 状态空间的分解状态空间的分解定义定义引理引理7 (有关闭集的判定和性质有关闭集的判定和性质)证明证明 (1)用数学归纳法用数学归纳法引理引理8证明证明引理引理9设设C是闭集是闭集,则当且仅当其中任何两个状态则当且仅当其中任何两个状态互通时互通时,C为不可约的为不可约的.证明证明推论推论齐次马尔可夫链是不可约的充要条件是齐次马尔可夫链是不可约的充要条件是它的任何两个状态互通它的任何两个状态互通特别关于特别关于有限状态的马尔可夫链有限状态的马尔可夫链有下面结论有下面结论定理定理7(1) 有限齐次马尔可夫链所有有限齐次马尔可夫链所有非常返状态集非常返状态集D不可能不可能 是闭集是闭集.(2) 有限齐次马尔可夫链有限齐次马尔可夫链不可能存在零常返状态不可能存在零常返状态.(3) 不可约的有限齐次马尔可夫链的所有状态都是不可约的有限齐次马尔可夫链的所有状态都是 正常返状态正常返状态.证明证明定理定理 8证明证明由以上的分析由以上的分析,可以得到状态空间的分解定理可以得到状态空间的分解定理定理定理 9齐次马尔可夫链的齐次马尔可夫链的状态空间状态空间S可唯一地分解成有限个可唯一地分解成有限个或可列无限多个互不相交的状态子集的并或可列无限多个互不相交的状态子集的并.即即其中其中 D是所有是所有非常返状态非常返状态构成的状态子集构成的状态子集.所有所有常返状态常返状态构成的构成的不可约闭集不可约闭集.每个状态子集中的状态有着相同的状态类型每个状态子集中的状态有着相同的状态类型:(即即 或者均为零常返或者均为零常返,或者均为正常返非周期或者均为正常返非周期,或者均为正常返周期且周期相同或者均为正常返周期且周期相同.)引理引理10证明证明定理定理10 (周期链分解定理周期链分解定理)证明思路证明思路: 从三个方面证明从三个方面证明 (1) 分解式的存在性分解式的存在性(2) 转移规则的合理性转移规则的合理性(正确性正确性)(3) 分解式的唯一性分解式的唯一性证明证明 (1) 分解式的存在性分解式的存在性(2) 转移规则的正确性转移规则的正确性(3) 分解式的唯一性分解式的唯一性定理定理11证明证明 (1)例例1 设状态空间设状态空间S={0,1,2}的马尔可夫链的马尔可夫链,它的一步它的一步 转移概率矩阵为转移概率矩阵为研究其状态间的关系以及状态类型研究其状态间的关系以及状态类型120例例2 设状态空间设状态空间S={1,2,3,4}的马尔可夫链的马尔可夫链,它的一步它的一步 转移概率矩阵为转移概率矩阵为试分析状态类型试分析状态类型1234例例3 设设{Xn,n=0,1,2,…}是一齐次马尔可夫链是一齐次马尔可夫链, 状态空间状态空间 S={1,2,3,4,5},其一步转移概率矩阵为其一步转移概率矩阵为试分析状态类型试分析状态类型12354例例4 设齐次马尔可夫链的状态空间设齐次马尔可夫链的状态空间S={0,1,2,3,},其一步其一步 转移概率矩阵为转移概率矩阵为试分析过程的周期性试分析过程的周期性1203例例5 设齐次马尔可夫链的状态空间设齐次马尔可夫链的状态空间S={1,2,3,4,5,6,7,8}, 其一步转移概率矩阵为其一步转移概率矩阵为12534678例例5 设齐次马尔可夫链的状态空间设齐次马尔可夫链的状态空间S={1,2,3,4,5,6,}, 其一步转移概率矩阵为其一步转移概率矩阵为试分解此马尔可夫链试分解此马尔可夫链,并写出各状态类型及周期并写出各状态类型及周期.123564。