第三章曹雪虹习题答案.doc

第三章曹雪虹习题答案 ?21-33-12-?3.1 设二元对称信道的传递矩阵为?33? (1) 假设P(0) = 3/4, P(1) = 1/4，求H(X), H(X/Y), H(Y/X)和I(X;Y)； (2) 求该信道的信道容量及其到达信道容量时的输入概率分布； 解： 1) 3311H(X)-?p(xi)-(?log2-log2)?0.811 bit/symbol4444iH(Y/X)--p(xi)p(yj/xi)logp(yj/xi)ij322311111122 -(?lg-lg-lg-lg)?log210433433433433 ?0.918 bit/symbol3211--0.583343433112p(y2)?p(x1y2)?p(x2y2)?p(x1)p(y2/x1)?p(x2)p(y2/x2)--?0.41674343H(Y)-?p(yj)-(0.5833?log20.5833?0.4167?log20.4167)?0.980 bit/symbolp(y1)?p(x1y1)?p(x2y1)?p(x1)p(y1/x1)?p(x2)p(y1/x2)?jI(X;Y)?H(X)?H(X/Y)?H(Y)?H(Y/X)H(X/Y)?H(X)?H(Y)?H(Y/X)?0.811?0.980?0.918?0.749 bit/symbolI(X;Y)?H(X)?H(X/Y)-0.811?0.749?0.062 bit/symbol 2) 1122C?maxI(X;Y)?log2m?Hmi?log22?(lg?lg)?log210?0.082 bit/symbol33331其最正确输入分布为p(xi)? 23-2某信发送端有2个符号，xi，i＝1，2；p(xi)?a，每秒发出一个符号。

承受端有3种符号yi，j＝1，2，3，转移概率矩阵为P-?1/21/20? -1/21/41/4?〔1〕 计算承受端的平均不确定度； 〔2〕 计算由于噪声产生的不确定度H(Y|X)； 〔3〕 计算信道容量 ?1/21/20? -1/21/41/4?结合概率p(xi,yj) 解：P-X Y y1 y2 y3 0 x1 x2 a/2 (1?a)/2 a/2 (1?a)/4 (1?a)/4 那么Y的概率分布为 Y y2 y3 (1?a)/4 (1?a)/4 1/2 11+a41?a4〔1〕H(Y)?log2? log?log241?a41?a1116a1?a ?log2?log?log241?a241?a1111a1?a ?log2?log16?log?log22441?a41?a311a1?a ?log2?log?log241?a241?a取2为底 y1 311a1?aH(Y)?(?log2?log)bit 2241?a241?a1a11?a11?a11?a1-alog?log?log? 〔2〕H(Y|X)-?log?log?222224444-23(1?a)-alog2?log2 23?a?log2 2取2为底 H(Y|X)?3?abit 211a1?a-a?c?maxI(X;Y)?max?H(Y)?H(Y|X)-max?log2?log?log?p(xi)p(xi)p(xi)41?a241?a-2a11a1?a?(ln2?ln?ln)2241?a41?a取e为底 ?a112a11?aa11?ln2-ln?(-) 241?a241?a41?a1?a1a11?aa2?ln2-ln? 2222(1?a)41?a41?a111?a ?ln2?ln241?a= 0 1?a1? 1?a43?a? 51311131?c-log2?log-log 92541?25454312531?log2?log?log 10416204?3153log2?log?log2 10245?log 24 3.3 在有扰离散信道上传输符号0和1，在传输过程中每100个符号发生一个错误，P(0)=P(1)=1/2，信每秒内发出1000个符号，求此信道的信道容量。

解： 由题意可知该二元信道的转移概率矩阵为： ?0.990.01? P--0.010.99?为一个BSC信道 所以由BSC信道的信道容量计算公式得到： C?logs?H(P)?log2-pilogi?121?0.92bit/signpi1Ct?C?1000C?920bit/sect 3.4 求图中信道的信道容量及其最正确的输入概率分布.并求当e=0和1/2时的信道容量C的大小 X 0 1 1－e Y 0 1 1 e e 2 1－e 2 00-1-,此信道为非奇异矩阵,又r=s,可利用方程组求解 e解: 信道矩阵P=01?e-?e1－e-0? ?3j=1P(bj|ai)bj=?P(bj|ai)logP(bj|ai) (i=1,2,3) j=13ìb1=0-?í(1-e)b2+eb3=(1-e)log(1-e)+eloge --?eb2+(1-e)b3=eloge+(1-e)log(1-e)解得b1=0 b2=b3=(1-e)log(1-e)+eloge 所以 C=log?2j=log[20+2×2(1-e)log(1-e)+eloge] b(1-e)j=log[1+21-H(e)]=log[1+2(1-e)ee] ì11?1-C-C?P(b)=2b=2==1-1+2(1-e)(1-e)ee1+21-H(e)? ?ee?(1-e)e-P(b2)=2b2-C=í(1-e)e?1+2(1-e)e-?P(b3)=2b3-C=P(b2)---3而 P(bj)=?P(ai)P(bj|ai) (j=1,2,3) i=1ìP(b1)=P(a1)-?得íP(b2)=P(a2)(1-e)+P(a3)e --?P(b3)=P(a2)e+P(a3)(1-e)1所以 P(a1)=P(b1)= 1+2(1-e)(1-e)ee(1-e)eeeP(a2)=P(a3)=P(b2)=P(b3)= 1+2(1-e)(1-e)ee当e=0时,此信道为一一对应信道,得 1 C=log3, P(a1)=P(a2)=P(a3)= 311当e=1/2时,得 C=log2, P(a1)=,P(a2)=P(a3)= 24 3.5 求以下二个信道的信道容量，并加以比拟 ?p-p-2-?p-p-2?0--?〔1〕?p-p-2- 〔2〕?p-p-02- --其中p+p=1 解： 〔1〕此信道是准对称信道，信道矩阵中Y可划分成三个互不相交的子集 由于集列所组成的矩阵-p-?p-?p--2-?,-而这两个子矩阵满足对称性，因此可直接利用准对-p--?2-2称信道的信道容量公式进展计算。

C1=logr-H(p1’ p2’ p3’)-?NklogMk k?1其中r=2,N1=M1=1-2? N2=2? M2=4? 所以 C1=log2-H(p-,p-ε,2ε)-(1-2?)log(1-2?)-2?log4? =log2+(p-)log(p-)+(p-ε)log(p-ε)+2εlog2ε-(1-2ε)log(1-2ε)-2εlog4ε =log2-2εlog2-(1-2ε)log(1-2ε)+(p-)log(p-)+(p-ε)log(p-ε) =(1-2ε)log2/(1-2ε)+(p-)log(p-)+(p-?)log(p-?) 输入等概率分布时到达信道容量 〔2〕此信道也是准对称信道，也可采用上述两种方法之一来进展计算先采用准对称信道的信道容量公式进展计算，此信道矩阵中Y可划分成两个互不相交的子集，由子集列所组成的矩阵为-p-?p-?2p--2-，-p--?00-这两矩阵为对称矩阵 其中?2-r=2,N1=M1=1-2? N2=M2=2?，所以 C=logr-H(p-?,p-ε,2ε,0)-?NklogMk k?1=log2+(p-?)log(p-?)+(p-ε)log(p-ε)+2εlog2ε-(1-2ε)log(1-2ε)-2εlog2ε =log2-(1-2ε)log(1-2ε)+( p-?)log(p-?)+(p-ε)log(p-ε) =(1-2ε)log2/(1-2ε)+2εlog2+(p-?)log(p-?)+(p-ε)log(p-ε) =C1+2εlog2 输入等概率分布〔P〔a1〕=P〔a2〕=1/2〕时到达此信道容量。

比拟此两信道容量，可得C2=C1+2εlog2 3-6 设有扰离散信道的传输情况分别如图3－17所示求出该信道的信道容量 X1/21/21/21/21/21/21/2Y1/2图3-17 00-?0110?22? 解：?11?0022-11?00?22?1212对称信道 C?logm?H(Y|ai) 第 页 共 页。