信息论习题答案---陈前斌版.doc

第2章习题2-3 同步掷两个正常的骰子，也就是各面呈现的概率都是l/6，求： (1) “3和5同步浮现”事件的自信息量； (2)“两个1同步浮现”事件的自信息量；(3)两个点数的多种组合（无序对）的熵或平均信息量；(4) 两个点数之和(即 2，3，…，12构成的子集）的熵； (5)两个点数中至少有一种是1的自信息 解：（1）P（3、5或5、3）＝P（3、5）+P（5、3）＝1/18I＝log2（18）＝ 4.1699bit2）P（1、1）＝l/36I＝log2（36）＝5.1699bit3）相似点浮现时（11、22、33、44、55、66）有6种，概率1/36 不同点浮现时有15种，概率1/18H（i，j）＝6*1/36*log2（36）+15*1/18*log2（18）＝4.3366bit/事件 （4）i+j2 3 4 5 6 7 8 9 10 11 12P(i+j)1/36 2/36 3/36 4/36 5/36 6/36 5/36 4/36 3/36 2/36 1/36 H(i+j)=H(1/36 2/36 3/36 4/36 5/36 6/36 5/36 4/36 3/36 2/36 1/36) =3.2744bit/事件。

5）P（1、1or1、j or i、1）＝1/36+5/36+5/36＝11/36I＝log2（36/11）＝1.7105bit/2-5 居住某地区的女孩中有25％是大学生，在女大学生中有75％身高为1.6m以上，而女孩中身高1.6m以上的占总数一半如果得知“身高1.6m以上的某女孩是大学生”的消息，问获得多少信息量？、解：P（女大学生）＝1/4；P（身高>1.6m / 女大学生）=3/4；P（身高>1.6m）＝1/2； P（女大学生 / 身高>1.6m）＝P（身高>1.6m、女大学生）/P（身高>1.6m ） ＝3/4*1/4*2＝3/8 I＝log2（8/3）＝1.4150bit2-7两个实验和，联合概率为（1）如果有人告诉你和的实验成果，你得到的平均信息量是多少？（2）如果有人告诉你的实验成果，你得到的平均信息量是多少？（3）在已知的实验成果的状况下，告诉你的实验成果，你得到的平均信息量是多少？解：P(x,y)Y.xy1 y2 y3Xx1x2x37/24 1/24 01/24 1/4 1/240 1/24 7/241/31/31/3.y 1/3 1/3 1/3（1）（2）（3）2．11某一无记忆信源的符号集为，已知，。

1）求信源符号的平均信息量；（2）由100个符号构成的序列，求某一特定序列（例如有个0和个1）的信息量的体现（3）计算（2）中的序列熵解：（1）由于信源是无记忆信源，因此符号的平均熵（2）某一特定序列（例如：m个0和100-m个1）浮现的概率为因此，自信息量为（3）序列的熵2-13 有一种马尔可夫信源，已知转移概率为试画出状态转移图，并求出信源熵解：（1）由题意可得状态转移图2/3S11/31S2由状态转移图可知：该马尔可夫链具有遍历性，平稳后状态的极限分布存在一步转移矩阵由和可得方程组 解方程组得到各状态的稳态分布概率，由于，因此信源的熵2-14有一种一阶马尔可夫链各取值于集，已知起始概率为，其转移概率如下：ji1231231/22/32/31/401/31/41/30（1）求的联合熵和平均符号熵；（2）求这个链的极限平均符号熵；（3）求和它们相应的冗余度解：（1）措施一、由于可以计算得到 因此，因此，平均符号熵措施二、因此，平均符号熵（2）由于这个信源是一阶马尔可夫链，其状态极限概率分布就是信源达到平稳后的符号概率分布.由题意得到一步转移矩阵由和可得方程组 解方程组得到各状态的稳态分布概率，因此信源平稳后的概率分布为由于信源为一阶马尔可夫信源，因此信源的熵（3）相应的冗余度分别为2-16 一阶马尔可夫信源的状态如图所示，信源X的符号集为{0,1,2}。

1）求平稳后的信源的概率分布；（2）求信源熵；（3）求当和时信源的熵，并阐明其理由021解：（1）由状态转移图可得状态一步转移矩阵由状态转移图可知：该马尔可夫链具有遍历性，平稳后状态的极限分布存在由和可得方程组 解方程组得到各状态的稳态分布概率，因此信源平稳后的概率分布为（2）由于信源为一阶马尔可夫信源，因此信源的熵（3）当或时，信源的熵为0由于此时它表白信源从某一状态出发转移到另一状态的状况是一定发生或一定不发生，即是拟定的事件2-19设有一信源，它在开始时以的概率发出，如果为时，则为的概率为；如果为时，则为的概率为；如果为时，则为概率为，为的概率为0并且背面发出的概率只与有关试运用马尔可夫信源的图示法画出状态转移图，并且计算信源熵解：（1）由题目可知，这个信源为一阶马尔可夫信源，状态空间就等于信源符号集合{a,b,c},其状态转移图为1/31/31/31/31/31/21/31/2abc（2）由状态转移图可知：该马尔可夫链具有遍历性，平稳后状态的极限分布存在一步转移矩阵由和可得方程组 解方程组得到各状态的稳态分布概率，由于信源为一阶马尔可夫信源，因此信源的熵。