信息论与编码09.docx

武汉工业学院课程考核试题参考答案及评分标准学 年： 2009 — 2010 学 期： 第2学期课程名称： 信号理论与编码（B卷） 考核方式： 考试（闭卷）任课教师： 曾武、温红艳 课程所在院（系、部）： 电气信息工稈系考试班级： 07级电子信息、通信工程 一、 填空（每空3分，共30分）1、 信息论基础主要研究信息的测度、信道容量 以及 信源和信道编码理论 等问题2、 十六进制脉冲所含的信息量是四进制脉冲的2倍3、 若把掷骰子的结果作为一离散信源，则信源熵为log 624、 当事件x和y彼此之间相互独立时，平均互信息量为 0 i j5、 若二维平稳信源的信源熵为3bit/sign，则其平均符号熵为1.5bit/sign 6、 对于r进制树图，n级节点的个数一般为—rn 7、 信道中任一时刻输出符号仅统计依赖于对应时刻的输入符号，而与非对应时刻的输入符号及其它任何时刻的输岀符号无关，这种信道称之为有干扰无记忆信道8、 码字101111101 011111101、100111001之间的最小汉明距离为 2 9、 有噪信道编码定理是以临界值信道容量C来确定是否存在一种编码方法使平均错误概率任意小。

二、 简答题（每题5分，共20分）（2分）（1分）1、答： (1) 工 p (a b ) = p (b ),工 p (a b ) = p (a )；i j j i j ii 二 1 j 二 1(2) p(a b ) = p(b )p(a /b ) = p(a )p(b /a );i j j i j i j i(3) p(a /b尸』宀，p(b /a )=j i（2分）2、答：编码步骤如下:（1）将信源发出的q个消息符号按其概率的递减次序依次排列：p > p > ... > p ；（1分）1 2 q（2）按下式计算第i个消息的二进制代码组的码长l ,并取整;i一 log p （s ） ＜ l ＜一 log p （s ） + 1i i i（3） 为了编成唯一可译码，首先计算第i个消息的累加概率P =：＞一1 p（s ）;i kk 二 1（4） 将累加概率P （为小数）变换成二进制；i（5）去除小数点，并根据码长l，取小数点后l位数作为第i个信源符号的码字,i i（1分）（1分）（1分）由下式确定:（1分）l = - log p (s ) + 1 i i尙 爲3、答：' （3 分）信道容量 C = log 3bit / sign2（2分）-1110100「4、答:H =01110101101001三、计算题（每题10分，共30分）1、解：设随机变量X代表女孩子学历Xxi （是大学生）x2 （不是大学生）P(X)0.200.80设随机变量Y代表女孩子身高Yyl (身高＞160cm)y2 (身高＜160cm)P(Y)0.50.5已知：在女大学生中有60%是身高160厘米以上的即:p (y / x ) = 0.61 1（6分）求:身高160厘米以上的某女孩是大学生的信息量即:p (x ) p (x / y ) I (x / y ) = 一 log p (x / y ) = 一 log1 1 1 1p (y1)0.2 x 0.6 25log = log bit0.5 6（4分）2、解：（1）根据题意有:P (s )=1< p (s )=2p (s )=J 3p (s ) p (s / s ) + p (s ) p (s / s ) + p (s ) p (s / s )1 1 1 2 1 2 3 1 3p (s ) p (s / s ) + p (s ) p (s / s ) + p (s ) p (s / s )1 2 1 2 2 2 3 2 3p (s ) p (s / s ) + p (s ) p (s / s ) + p (s ) p (s / s )1 3 1 2 3 2 3 3 3p (s )1,p (s )2p (s )3-p ( s 2)1 1 2= -p (s ) + - p (s ) + - p (s )4 1 3 2 3 3（2分）1 1 1=-p (s ) + - p (s ) + - p (s )4 1 3 2 3 3p (s ) = 8/291p (s ) + p (s ) + p (s ) = 1 p (s ) = 12/29 (2 分)1 2 3 2p (s ) = 9/29l 33131 23 23 3 3■ X ■012 [（2分）_ P (X ) _=V8/2912 /299/29 Jp (x ) = p (s ) p (x / s ) + p (s ) p (x / s ) + p (s ) p (x / s ) = 8/291 1 1 1 2 1 2 3 1 3< p (x ) = p (s ) p (x / s ) + p (s ) p (x / s ) + p (s ) p (x / s ) = 12 / 292 1 2 1 2 2 2 3 2 3p (x ) = p (s ) p (x / s ) + p (s ) p (x / s ) + p (s ) p (x / s ) = 9/29(2) Hp (s ) p (s / s ) log p (s / s )8118111211922911=-(x log+ 2 xx log+ 3 xx log_ +—•x — log_ +—'x — log一）292 22294 24293 23293 232932 3ij6 21=( + log 3 ) bit / sign29 29 2（4分）3、解：（1）利用霍夫曼编码方法，从而得到x平均码长最小的霍夫曼码为:6（6分）10、 11、 00、 01、 010、 011。

2）该霍夫曼码的平均码长为:9 (4 分)5 11 一L = S p(s )l = x 2 + x 2 + —x 2 + —x 2 + —x 3 x 2 =-i- i- 4 4 8 8 8 4i=1四、应用题（10分）1、重大新闻是语言，频率为300-3400HZ，而轻音乐的频率为20-20000HZ同样的时间内轻音乐的 采样编码的数据要比语音的数据量大，按码元熵值，音乐的信息量要比新闻大但在信宿端，按信 息的不确定量度信息量就应分别对待，对于新闻与音乐的信息量大小在广义来说因人而异2、解：（1）从240颗珠子中取3颗，含1颗假珠的概率为（2） 240颗中含1颗假珠，用天平等分法最多6次即可找到假珠，是必然事件， 因此信息量为03） 按照shannon对信息量的定义，只有事件含有不确知成分，才有信息量， 且不确知成分越大，信息量越大，必然事件则没有信息量但从广义信息论来说, 如果那人不知用天平二分法找假珠，另一人告之此事，使他由不知到知，也应该含有一定的信息量。