信息论与编码ch05作业讲解
2006-9-222 第二章 信源熵第二章 信源熵 作业题作业题作业题作业题1 1 2.2.2.2.居住某地区的女孩子有居住某地区的女孩子有居住某地区的女孩子有居住某地区的女孩子有2525是大学生，在女是大学生，在女是大学生，在女是大学生，在女 大学生中有大学生中有大学生中有大学生中有7575是身高是身高是身高是身高160160厘米以上的，而女厘米以上的，而女厘米以上的，而女厘米以上的，而女 孩子中身高孩子中身高孩子中身高孩子中身高160160厘米以上的占总数的一半。假厘米以上的占总数的一半。假厘米以上的占总数的一半。假厘米以上的占总数的一半。假 如我们得知如我们得知如我们得知如我们得知“ “身高身高身高身高160160厘米以上的某女孩是大厘米以上的某女孩是大厘米以上的某女孩是大厘米以上的某女孩是大 学生学生学生学生” ”的消息，问获得多少信息量。的消息，问获得多少信息量。的消息，问获得多少信息量。的消息，问获得多少信息量。 2006-9-223 第二章 信源熵第二章 信源熵 作业题作业题作业题作业题1 1 解答：解答：解答：解答：设设设设A A表示表示表示表示“ “大学生大学生大学生大学生” ”这一事件，这一事件，这一事件，这一事件，B B表示表示表示表示“ “身身身身 高高高高1.601.60米以上米以上米以上米以上” ”这一事件，它们出现的概率为这一事件，它们出现的概率为这一事件，它们出现的概率为这一事件，它们出现的概率为 22 ( )0.25( )0.5(/)0.75 ()( ) (/)0.75 0.25 (/)0.375 ( )( )0.5 (/)log(/)log 0.3751.42 p Ap Bp B A P ABP A p B A P A B P BP B I A BP A Bbit = × = = = = 2006-9-224 第二章 信源熵第二章 信源熵 作业题作业题作业题作业题2 2 2.3.2.3.一幅充分洗乱了的牌（含一幅充分洗乱了的牌（含一幅充分洗乱了的牌（含一幅充分洗乱了的牌（含5252张牌），试问张牌），试问张牌），试问张牌），试问 (1) (1) 任一特定排列所给出的信息量是多少？任一特定排列所给出的信息量是多少？任一特定排列所给出的信息量是多少？任一特定排列所给出的信息量是多少？ (2) (2) 若从中抽取若从中抽取若从中抽取若从中抽取1313张牌，所给出的点数都不相同张牌，所给出的点数都不相同张牌，所给出的点数都不相同张牌，所给出的点数都不相同 能得到多少信息量？能得到多少信息量？能得到多少信息量？能得到多少信息量？ 2006-9-225 第二章 信源熵第二章 信源熵 作业题作业题作业题作业题2 2 解答解答解答解答： (1)(1)任意排列共有任意排列共有任意排列共有任意排列共有种，则任一排列的自信息量种，则任一排列的自信息量种，则任一排列的自信息量种，则任一排列的自信息量 为：为：为：为： (2)(2)应将点数相同花色不同的牌看作一类，则任意抽取应将点数相同花色不同的牌看作一类，则任意抽取应将点数相同花色不同的牌看作一类，则任意抽取应将点数相同花色不同的牌看作一类，则任意抽取 的的的的1313张牌应在张牌应在张牌应在张牌应在1313类中分别进行。其概率为类中分别进行。其概率为类中分别进行。其概率为类中分别进行。其概率为 信息量为：信息量为：信息量为：信息量为： 52 52 52!P= 22 log (1/52!)log 52!225.58bit= 13 13 52 4 p C = 13 2 13 52 4 log13.21bit C = 2006-9-226 第二章 信源熵第二章 信源熵 MATLAB function ?factorial(N), for scalar N, is the product of all the integers from 1 to N, i.e. prod(1:n). When N is an N- dimensional array, factorial(N) is the factorial for each element of N. ?C = nchoosek(n,k) where n and k are nonnegative integers, This is the number of combinations of n things taken k at a time. ?E = entropy(I) returns E, a scalar value representing the entropy of grayscale image I. Entropy is a statistical measure of randomness that can be used to characterize the texture of the input image. 2006-9-227 第二章 信源熵第二章 信源熵 作业题作业题作业题作业题3 3 2.3.2.3.设离散无记忆信源，其设离散无记忆信源，其设离散无记忆信源，其设离散无记忆信源，其 发出的消息为发出的消息为发出的消息为发出的消息为 (202120130213001203210110321010021032011223(202120130213001203210110321010021032011223 210)210) 1. 1.此消息的自信息量是多少？此消息的自信息量是多少？此消息的自信息量是多少？此消息的自信息量是多少？ 2. 2.在此消息中平均每个符号携带的信息量是多在此消息中平均每个符号携带的信息量是多在此消息中平均每个符号携带的信息量是多在此消息中平均每个符号携带的信息量是多 少？少？少？少？ 1234 0123 ()3/81/41/41/8 Xxxxx P X = = 2006-9-228 第二章 信源熵第二章 信源熵 作业题作业题作业题作业题3 3 解答解答解答解答： (1)(1)对于离散无记忆信源对于离散无记忆信源对于离散无记忆信源对于离散无记忆信源 此消息中总共有此消息中总共有此消息中总共有此消息中总共有4545个符号个符号个符号个符号1414个个个个“ “0 0” ”，1313个个个个“ “1 1” ”，1212个个个个“ “2 2” ”，6 6个个个个“ “3 3” ”， 因此总的信息量为因此总的信息量为因此总的信息量为因此总的信息量为 (2)(2)此消息中总共有此消息中总共有此消息中总共有此消息中总共有4545个符号，携带个符号，携带个符号，携带个符号，携带87.8187.81比特信息量，则此消息中平比特信息量，则此消息中平比特信息量，则此消息中平比特信息量，则此消息中平 均每个符号携带的信息量为均每个符号携带的信息量为均每个符号携带的信息量为均每个符号携带的信息量为 12 22 32 42 (0)log (3/8)1.415 (1)log (1/4)2 (2)log (1/4)2 (3)log (1/8)3 I xbit I xbit I xbit I xbit = = = = = = = 1234 14 (0) 13 (1) 12 (2)6 (3) 87.81 II xI xI xI x bit =+=+=+= /451.95IIbit = 2006-9-229 第二章 信源熵第二章 信源熵 作业题作业题作业题作业题3 3 进一步思考进一步思考进一步思考进一步思考 第第第第(2)(2)问求出的平均每个符号携带的信息量，并不完全等于该离散无记问求出的平均每个符号携带的信息量，并不完全等于该离散无记问求出的平均每个符号携带的信息量，并不完全等于该离散无记问求出的平均每个符号携带的信息量，并不完全等于该离散无记 忆信源平均每个符号携带的信息量，即信源熵，忆信源平均每个符号携带的信息量，即信源熵，忆信源平均每个符号携带的信息量，即信源熵，忆信源平均每个符号携带的信息量，即信源熵， H(X)H(X)与与与与只是近似相等，不是完全相同。原因是只是近似相等，不是完全相同。原因是只是近似相等，不是完全相同。原因是只是近似相等，不是完全相同。原因是是在此特定的消是在此特定的消是在此特定的消是在此特定的消 息中求得的，此特定消息中各符号出现的概率并不完全等于信源息中求得的，此特定消息中各符号出现的概率并不完全等于信源息中求得的，此特定消息中各符号出现的概率并不完全等于信源息中求得的，此特定消息中各符号出现的概率并不完全等于信源X X 中各符号的概率，所以存在差异。由此可进一步理解，信源的信息中各符号的概率，所以存在差异。由此可进一步理解，信源的信息中各符号的概率，所以存在差异。由此可进一步理解，信源的信息中各符号的概率，所以存在差异。由此可进一步理解，信源的信息 熵是一统计量，是表征信源的总体测度信息的。熵是一统计量，是表征信源的总体测度信息的。熵是一统计量，是表征信源的总体测度信息的。熵是一统计量，是表征信源的总体测度信息的。 4 2 1 ()( )log( ) 1.906/ ii i H Xp xp x bit symbol = = I I 2006-9-2210 第二章 信源熵第二章 信源熵 作业题作业题作业题作业题4 4 123456 2 , ()0.20.190.180.170.160.17 ()log 6 Xxxxxxx P X H X = 2.6设信源求这 信源的熵，并解释为什么不满足信源熵的极值性。 2006-9-2211 第二章 信源熵第二章 信源熵 作业题作业题作业题作业题4 4 6 2 1 222 22 2 6 1 ()( )log( ) 0.2log 0.20.19log 0.190.18log 0.18 2(0.17log 0.17)0.16log 0.16 2.66(/) log 62.58 ( )0.20.190.180.170.160.171.071 ii i i i H Xp xp x bit symbol p x = = = = + + = = =+= 解答： 概率空间不满足归一化 不满足最大离散熵定理
