信息论考试卷及答案.docx

考试科目名称：信息论一.单选（每空2分，共20分）1. 信道编码的目的是（C ）,加密编码的目的是（D ）A. 保证无失真传输B. 压缩信源的冗余度，提高通信有效性C. 提高信息传输的可靠性D. 提高通信系统的安全性2. 下列各量不一定为正值的是（D ）A. 信源熵B. 自信息量C. 信宿熵D. 互信息量3. 下列各图所示信道是有噪无损信道的是（B ）A.B.奸Y妇&54. 下表中符合等长编码的是（A ）倍除符号码如出观槪隼ABCD血尸1/200001血）=1/401111001血）=1/8100000001斗）=1/811110100015. 联合熵H (XY)与熵H (X)及条件熵H (X/Y)之间存在关系正确 的是(A )A. H (XY)=H (X)+H (Y/X)B. H (XY)=H (X)+H (X/Y)C. H (XY)=H (Y)+H (X)D. 若X和Y相互独立，H (Y) =H (YX)6. 一个n位的二进制数，该数的每一位可从等概率出现的二进制码元(0,1)中任取一个，这个n位的二进制数的自信息量为(C )A. 2 nB. 1 bitC. n bitnD. 27. 已知发送26个英文字母和空格，其最大信源熵为H0 = log27 = 4.76比 特/符号；在字母发送概率不等时，其信源熵为H1 = 4.03比特/符号； 考虑字母之间相关性时，其信源熵为H2= 3.32比特/符号；以此类推, 极限熵H =1.5比特/符号。

问若用一般传送方式，冗余度为(B )OOA. 0.32B. 0.68C．0.63D．0.378. 某对称离散信道的信道矩阵为，信道容量为（ B ）A．C=叫一2 H（3'3'6‘6）B．1111C = log4 - H（3,3,6,6）C．C=吩-H（3'3'6‘6）D. C = log 2 - H （3,6）9. 下面不属于最佳变长编码的是（ D ）A. 香农编码和哈夫曼编码B. 费诺编码和哈夫曼编码C. 费诺编码和香农编码D. 算术编码和游程编码二. 综合（共 80 分）3. （30 分）试写出信源编码的分类，并叙述各种分类编码的概念和特性{ 非分组码码 { 奇异码分组码非奇异码{ 非唯一可译码{非即时码5分）唯一可译码即时码（非延长码）3 分）将信源消息分成若干组，即符号序列 xixi = （xil xi2 • • • xil •…xiL）,xil A={al, a2, •…，ai, •…，an}每个符号序列xi依照固定码表映射成一个码字yi,yi=(yi1yi2 • • • yil …yiL),yil B={b1, b2,…，bi,…，bm}这样的码称为分组码，有时也叫块码只有分组码才有对应的码表，而非 分组码中则不存在码表。

1分)奇异码和非奇异码若信源符号和码字是一一对应的，则该码为非奇异码反之为奇异码1.5分)唯一可译码任意有限长的码元序列，只能被唯一地分割成一个个的码字，便称为 唯一可译码(1.5分)即时码：只要收到符号就表示该码字已完整，可以立即译码 即时码又称为非延长码，任意一个码字都不是其它码字的前缀部分，有时 叫做异前缀码2. (15分)有一个二元二阶马尔可夫信源，其信源符号集为{0，1}，已知符号条件概率：p(OIOO) = 1/2 p(1IOO)=1/2p(OIO1) = 1/3 p(1IO1)=2/3p(0|10) = 1/4 p(1l10)=3/4p(0|11) = 1/5 p(1|11)=4/5求：(1) .信源全部状态及状态转移概率；(2) .画出完整的二阶马尔可夫信源状态转移图；(3) .求平稳分布概率解：(1) .符号条件概率矩阵a (0)a (1)12「1/21/2_1/32/31/43/4_1/54/5_（5分）s1s2s3s4s11/21/4s21/23/41/31/52/34/5(0)1/2+1W4 3平稳分布概率（5分）1W2 11W2W p = W n i ij j丄W3 2-W3 2+丄W5 4+ 4 W5 4W + W + W + W = 112 3 4（5分）2 35’35s (00)1s (01)p(a I s ) = 2j i s (10)3s (11)4状态转移概率矩阵16 14 9p(a I s ) p(s ) = —x — + —x — + —x — + —x —=—1 i 第 i6 页 2共 35 页 3 35 4 35 5 7 35「、/、1 3 26 36 44 26p (a I s ) p (s ) = x + x + — x + — x —=2 i i 2 35 3 35 4 35 5 7 353. ( 20分)具有符号集U = {u ,u }的二元信源，信源发生概率为：0 11p(u0)= P，〃(件)=1 - p，° < p J 2。

信道如图 所示，接收符号集V二｛vo, J」，转移概率为:q(vo I uo)= 1, 丨uj = 1 - q发出符号 与 接 收 符 号 的 失 真：d (u , v ) = d (u , v ) = 0, d (u , v ) = d (u , v ) = 10 0 1 1 1 0 0 1(1) .计算平均失真D ；(2) .率失真函数R(D)的最大值是什么？当q为什么值时可达到该最大值？此时平均失真D是多大？(3) .率失真函数R(D)的最小值是什么？当q为什么值时可达到该最小值？此时平均失真d是多大?画出R(D)-D曲线解:已知信源符号概率p(u ) = p, p(u ) = 1 - p,0 < p < 1 ；0 1 2转移概率矩阵[q(v I u )]=j i失真矩阵［d(u , v )］二i j联合概率矩阵［P（u，v ）］=i jp(1 - p)q (1 - p)(i - q)D = Yij,v )d(u , v )二 p x 0 + 0 x 1 + (1 一 p)q x 1 + (1 一 p)(1 一 q) x 0 二(1 一 p)q j i j（5分）(2) . maxR(D)=R(Dmin)=H(X)=-plogp-(l-p)log(l-p)；当 q=0 时，Dmin=0,即得到 maxR(D)；D =0。

5 分)(3) . minR(D)=R(Dmax)=0；_1 0" 当q=1时，转移概率矩阵[q(v I u )] = ] 0，可使得到 j i 1 0minR(D)；D =l-p5 分)(4) . (5 分)Ml)}4.（15分）一个平均功率受限制的连续信道，其通频带为1MHz，信道 上存在白色高斯噪声1）. 已知信道上的信号与噪声的平均功率比值为 20，求该信道的信道容量；（2）. 信道上的信号与噪声的平均功率比值降至 10，要达到相同的 信道容量，信道通频带应为多大？（3）. 若信道的通频带增加至 2MHz 时，要保持相同的信道容量， 信道通频带应为多大？解：（1）. 已知 SNR=20PC = W log（l + ——） = W log（l + SNR） = 1X log 21 = 4.392Mbit / sN0W（5 分）（2） . 若 SNR=10，C=4.392Mbit/s；4.392 = W log（1 +10）W=1.27MHz（5 分）（3） . 若 W=2MHz，C=4.392Mbit/s；4.392 = 2 x log（1 + SNR）SNR=3.582（5 分）5. （20 分）信源符号 X 有 6 种字母，概率为 0.32，0.22，0.18，0.16，0.08，0.04。

1）. 求符号熵 H（X）；（2） .用费诺（Fano）编码法编成二进制变长码，求出平均码长和编 码效率；（3） .用香农（Shannon）编码法编成二进制变长码，求出平均码长 和编码效率；（4） .用哈夫曼（Huffma）编码法编成三进制变长码，求出平均码长和编码效率信源符号符号概率p（ai）累加概率Pi平均码长K —匚logp(a )]i码字a10.320200a20.220.323010a30.180.543100a40.160.723101a50.080.8841110a60.040.96511110H (X)K—3） . 香农编码法编成二进制变长码（ 5 分）解：信源符号符号概率P（ai）第1分组第2分组第3分组第4分组平均码长K =「- logp(a )]i码字a10.3200200a20.221201a30.1810210a40.16103110a50.081041110a60.04141111(1) . H(X)=丄 p(a )logp(a ) = 2.35bit/符号(5 分)iii( 2) . 费诺编码法编成二进制变长码( 5 分)00，01，10，110，1110，1111H (X) L R235 = 97.9%2.400，010，100，101，1110，11110H (X)K—2.35284=82.7%H (X)——L RH(X)K log mL2.351.58 x log 3=93.8%4). 哈夫曼编码法编成三进制变长码(5 分)信源符号符号概率p(ai)第1分组第2分组平K 二匚均码长-logp(a )]i码字a10.320.32开 0.56 011a20.22°.22/ 0.28 112a30.180.18< 00.22 2200a40.160.16 >1201a5■* 0.12 丿 23020a60.o4 130211，2，00，01，020，021m=3, n=6,令 k=2 m+k(m-1)=7， s=7-n=1。