信息论考试试题集.doc

2、连续信源输出信号的峰值功率受限时，(均匀)分布的熵最大；连续信源输出信号的平均功率受限时，(正态)分布的熵最大3、当X和Y相互独立时，互信息为(0)A、1B、0C、某一个正数4、信源为X,信宿为Y,条件熵H(X|Y称为(信道损失熵)5、信道编码定理：对于一个离散无记忆信道，若其信道容量为C,输入信源符号长度为L,当信息传输速率(R〈C)时，总可以找到一种编码方法，当L足够长时，译码的错误概率为任意小正数.131.已知X,Y€{0,1},XY构成的联合概率为：P(00)=P(11)=—,P(01)=P(10)=—,88(log231.585),计算:(1) 熵H(X),H(Y);条件熵H(X/Y),H(Y/X);互信息I(X;Y)解：1)p(x=0)=p(x=1)=p(y=0)=p(y=1)=05H(X)=H(Y)=1(6分)2)H(XY)=H(X)+H(Y|X)=H(Y)+H(X|Y)(6分)1133H(XY)=—2(§log2log^)=1.8113H(Y|X)=H(X|Y)=1.8113-1=0.8113(8分)3)I(X;Y)=H(X)-H(X|Y)=H(Y)—H(Y|X)=H(X)+H(Y)—H(XY)=2—1.8113=0.1887(5分2。

求下列信道的信道容量和最佳分布log231.585)1136111P(Y/X),,62311162该信道为对称信道，最佳分布是等概率分布p(X)={11丄3,3,3信道容量:C=log2sH(P1,P2,...,Ps)log24H(-,1,1)0.5409(9分)2361.某连续信道的带宽为8kHz，信噪比为3:1,现在要以R=105比特/秒以速度传输信息,能否实现？如果要实现信息传输，信噪比的最小值为多少？(212.5=57926)解：CW*log2(1SNF)香农定理：5(8分)这时通信传输不能实现8000*log2(13)16000R1055C8000*log2(1SNR)R105SNR最小值为57916(2分)2.求:投掷一个正常的硬币直到正面出现为止，令变量X表示投掷次数1列出随机变量X的概率分布；计算熵H(X)Xp(X)111■2,.・・,n2)H(X)=2(10分)log2p(bj|aj).1条件自信息量的公式为(l(bj|aj2222离散无记忆信源输出n个不同的消息符号，当信源呈等概率分布情况下，信源熵取最大值，且为H(X)=(log2n)3、平均互信息I(X；Y是输入信源概率分布｛p(ai),i=1,2,…,n｝的(C)A、非凸函数B、下凸函数C、上凸函数4、I(X;Y)=H(X)+H(Y)—H(XY,说明信道两端随机变量X和Y之间的平均互信息量等于通信前、后整个系统不确定度(A减小)的量。

5、当(B)条件，传递最大互信息称之为信道容量.A、固定信源特性，改变信道特性B、改变信源特性，固定信道特性C、信源特性和信道特性都变化、已知P(00)丫€{0，1},XY构成的联合概率为：111,P(10)=1361.585,log252.322,log272.807)X，1，P(01)=P(11)=-，4(log23(1)熵H(X)，H(Y);(2)联合熵H(XY,条件熵(3)互信息I(X;Y)解：1)p(x=0)=—,p(x=1)=12H(X)=09799，HH(X/Y);5,c、1，p(y=0)=—122(Y)=1(6分)H(XY)=H(X)+H(Y|X)=H(Y)+H(X|Y)(41111(XY)=-(log2log2—3366(4分)39591=0.0208(5I(X;Y)=H(X)—H(X|Y)=H(Y)，计算:p(y=1)=分)1)=1.9591-H(Y|X)=H(X)(X|Y)=19591—1=0.9591+H(Y)—H(XY)=09799—0求下列信道的信道容量和最佳分布.(log231.585)1113,6,61113,6,311p(Y/X)丄6该信道为对称信道，最佳分布是等概率分布p(X)={丄，1}(6分)22信道容量：nClog2rH(P1,P2,...,Ps)Nklog2Mk1log2211111112123亏6W)尹22尹込6log260.04090p,1p,0解P2)WH3)1)三、设信号的信息率为5.6104比特/秒，在一个噪声功率谱为No5106mW/Hz、限频W、限输入功率P的高斯信道中传送.1）若W=4kHz，问无差错传输所需的最小功率P是多少瓦？（214=16384）2）若W趋于无穷大时，则P是多少瓦？（In2=0。

6931）P解：香农定理:CW*log2（1）（4分）N°W1）N0W5106mW/Hz4000Hz2105瓦R〈CP=03277瓦（8分）P42）CR5.610（6分）N0In2P最小值为1.9408104瓦（2分）四、一阶马尔可夫信源的状态转移图如下，信源符号集合为{0,1,2}.求：1）列出一阶马尔可夫信源的状态转移矩阵2）信源的平稳分布；3）信源熵H1p,0,p111八[,,](4分)333plogp(1p)log(1p)(6分)0,p,1p(10分)。