网络信息论.pdf

2011/11/30 1 第第6章网络信息论章网络信息论 前面讨论的都是单用户信道，它是建立在 点对点通信的基础上，然而对于现代的移 动通信、卫星通信、通信网、信息网实际 上都是多点对多点的多用户信道 在这些信息网中，怎样有效、可靠和安全 地传输信息，是网络信息论所要研究的问 题 2011/11/30 2 网络信息论的发展过程网络信息论的发展过程 1961年，Shannon发表了“双路通信信道”，为网络 信息理论奠定基础 1971，Ahlswede，Van der Meulen引入多元接入信型， 特别是Ahlsede和Liao给出了多元接入信道的容量区域 1972，Cover提出广播信道容量问题 Slepain-Wolf 引入相关信源编码 20世纪末网络信息理论蓬勃发展，得出许多重要的结 论 2011/11/30 3 6.1网络信道的分类网络信道的分类 网络信道研究的主要问题 网络信道的信道容量 网络信道编码定理 实现编码定理的码的结构问题（信源编 码和信道编码） 2011/11/30 4 网络信道的典型结构 多址接入信道 2011/11/30 5 广播信道 2011/11/30 6 中继信道 一对用户之间经过多种途径中转所进行的 单向通信 中继卫星 中继卫星 发送端 地面中继 接收端 2011/11/30 7 随机接入信道 2011/11/30 8 2011/11/30 9 6.3 相关信源编码相关信源编码 是信源编码的推广，主要研究多个相关 信源的编码问题，其中两个相关信源编 码的最基本结构如下图所示。

信源S1 信源S2 编码器1 编码器2 译码器 s1 s2 R1 R2 2011/11/30 10 对两个信源S1，S2统一联合编码，编码 后信源的信息率RH(S1S2) 若对信源S1，S2分别独立编码，编码信 息率是否需要大于H(S1),H(S2)？ 举例说明 2011/11/30 11 设信源 它们的联合概率分布为 3/2)(, 3/1)(,1, 0 . 3/1)(, 3/2)(,1, 0 2 1 2 12 21211 sPsPssS sPsPssS 3/101 3/13/10 10)( iis sP 2011/11/30 12 662. 0)/( 662. 0)()()/( 58. 13log )(log)()( 918. 0)3/2 , 3/1 ()()( 12 22121 , 21 21 SSH SHSSHSSH sspsspSSH HSHSH ji jiji 2011/11/30 13 编码 器 信 道 译码器 X1 X2 X1 2011/11/30 14 基本概念定义基本概念定义 1.可达速率对 称为为可达速率对)R,(R则速率对 任意小，P使N),),,2((2缩编码法若存在一种存在一种压 )s ,(s)(sf),(sPgfP 误概率译码重建的平均译码错 SSMM:g 译码函数 ,21,2,MS:f ,21,2,MS:f 编码函数 21 E NRNR 212211E N 2 N 121 NR 2 N 22 NR 1 N 11 21 2 1 两信源分别独立进行 编码，编码器输出是 一对整数(i,j) 传输到一共同的译码器 2011/11/30 15 2 可达速率域 所有可达速率对集合的闭包称为可达速率 域。

注意：信源中的信息传输率R，其单位为 比特/信源符号，信道中的信息传输率R， 其单位是比特/信道符号 2011/11/30 16 Slepain-wolf相关信源编码定理相关信源编码定理 对于任意离散无记忆信源，所有的可达速率对 满足 )( ),/(),/( : ),( 2121 122211 21 SSHRRR SSHRSSHR RRR 逆定理为不满足上述的任何速率对是不可达的 2011/11/30 17 Slepain-wolf相关信源可达速率区域相关信源可达速率区域 2011/11/30 18 证明： )s ,(s)(sf),(sPgfP 误概率译码重建的平均译码错 SSMM:g 译码函数 2i)(sPfP(j) 2i)(sPfP(i) 的概率为j和i足够够大，任意整数N当 ,21,2,MS:f ,21,2,MS:f 编码函数 212211E N 2 N 121 NR- 22 NR- 11 NR 2 N 22 NR 1 N 11 2 1 2 1 2011/11/30 19 引起错误主要是两部分组成，一部分是(i,j)译成的(s1,s2) 不是联合典型序列，另一部分是(i,j)译成的是联合典型序 列，但不等于(s1,s2),这可分三种情况 )(),( 11 2121111111 1312110 1010 2121 11 )) ( ( )(), ( , ) ( ,)( )()()()( )()()( SSAss ss N E N isfP SSAssisfssPEP EPEPEPEP EPEPEEPP 2011/11/30 20 根据定理2得 又因为 0P，所以0)P(E0,)P(E,N )SH(SRRR和),/SH(SR同理，若 0)P(E,N当),/SH(SR所以，当 2 22 )/(2)( 2)) ( ( E1312 2121122 11211 2)/( 2)/( 2111 11 211 211 1 1 SSHRN SSHNNR N NR NR sSAEP isfP 2011/11/30 21 讨论 (1)结论可以推广到任意有限多个相关信源 的情况 (2)结论也可应用到多个相关的离散各态历 经信源中，此时可达速率区域由相应的 极限熵来确定 2011/11/30 22 )( ),/(),/(),/( ),/(),/(),/( : ),,( 321321 132322313132121 213331223211 321 SSSHRRRR SSSHRRSSSHRRSSSHRR SSSHRSSSHRSSSHR RRRR 例子，三个相关信源情况： 2011/11/30 23 6.4 多址接入信道多址接入信道 最早研究的网络信道是多址接入信道， 它也是理论上解决较为完善的一类网络 信道。

典型例子就是卫星通信的上行线 路 2011/11/30 24 6.4.1 离散多址接入信道离散多址接入信道 两个发送端，一个接收端的离散多址接入信道模型为 多址接入信道可用传递概率P(y/x1x2)来描述 2011/11/30 25 基本概念基本概念 可达速率对 称为为可达速率对)R,(R则速率对 ，0P,n当n),),,2((2若存在一种存在一种 )u(uPg(y) 2 1 P 均译译码错误若消息是独立等概，平 MMY)y,y,(yy:g 译码函数 X)x,x(xx,21,2,M:f X)x,x(xx,21,2,M:f 编码函数 21 E nRnR 21 MM)u(u )Rn(R E 21 n n21 n 22n22212 NR 22 n 11n12111 NR 11 21 2121 21 2 1 21 nRnR 21 21 2 1 2 1 M 1 M 1 )up(u 2011/11/30 26 信道容量区域 所有可达速率对构成的闭包为多址接入 信道的容量区域 2011/11/30 27 2011/11/30 28 2011/11/30 29 2011/11/30 30 2011/11/30 31 2011/11/30 32 2011/11/30 33 2011/11/30 34 2011/11/30 35 2011/11/30 36 2011/11/30 37 2011/11/30 38 2011/11/30 39 2011/11/30 40 2011/11/30 41 2011/11/30 42 2011/11/30 43 6.4.2多址接入高斯噪声信道多址接入高斯噪声信道 对于多址接入的高斯噪声加性信道，设 有m个发送端，每个输入端的信号平均功 率为Psi,信道干扰是均值为0，方差为n2 的高斯噪声，信道输出 m 1i i ZXY 2011/11/30 44 离散多址接入信道的可达速率区，可以 推广到多址接入高斯信道中，现以连续 二址高斯信道进行分析 2011/11/30 45 2011/11/30 46 2011/11/30 47 B D C E 2011/11/30 48 2011/11/30 49 2011/11/30 50 讨论 (1)除了B、A、C三点外，其他都在截角矩 形下，对于连续多址接入信道，时（频） 方式不是最佳的 (2)曲线BAC包围区域的面积大于直线BC包 围的区域，所以二址接入高斯连续信道 的性能优于二址接入离散信道 2011/11/30 51 6.5相关信源和多址接入信道相关信源和多址接入信道 由联合信源信道编码定理知，只要信源 的信息熵小于信道容量，此信源可以在 信道中无失真地传输，在多用户情况下 又将有什么结论？ 是否Slepain-Wolf的速率区与多址接入信 道的容量区应有非空的交集？ )();( )/()/;()/()/;( 21221 12122121 SSHYXXI SSHXYXISSHXYXI 2011/11/30 52 条件不是必要的，可用例子加以说明 例子，设相关信源(S1S2)都是二元信源， 它们的联合概率分布为 P(s1s2) s2 s1 0 1 0 1/3 1/3 1 0 1/3 2011/11/30 53 计算得联合熵为： 将信源送入一个二元接入信道中传输， X1=X2=0，1，Y=0，1，2，Y=X1+X2 bitSSH58. 13log)( 21 + Y=X1+X2 bitYXXIC xpxp 5 . 1);(max 21 )()( 12 21 )( 2112 SSHC结果是： 2011/11/30 54 若对信源先进行无失真编码，然后再进行信道 编码，不能实现可靠传输，使译码错误任意小。

但是，只要选择X1=S1， X2=S2，就可使这对 相关信源在这信道中无错误地传输！ 在网络的信源信道编码中，分别进行信源编码 和信道编码不是一种最佳编码方法 2011/11/30 55 2 相关信源的多址接入信道模型相关信源的多址接入信道模型 条件：S1和S2之间无公共部分，即两信源变量之间是 统计独立 相关信源 P(S1S2) 编码器1 编码器2 多址接入 信道 P(y/x1x2) 译 码 器 s1S1n s2S2n X1(s1)X1n yYn S2(y)S2n X2(s2)X2n S1(y)S1n nnn nnnn SSYg XSfXSf 21 222111 : :,: 编码函数 译码函数 2011/11/30 56 以x1(s1),x2(s2)表示编码的码字，对于码字，其联合 概率P(s1s2y)为 ))()(/()()( 221121 1 21 sxsxypsspyssP iiiii n i 译码的错误概率 nn SSss nn nnn E ssSSssygPssp YgSSPP 2121 )( 2。