信息论部分课件第五章离散信道及其容量

第五章 离散信道及其 信道容量,主 讲： 易 波 老 师 博一工作室2010年V.1版,5.1 信道容量 信道容量的定义 信道的信息率R，就是信道的平均互信息量： 对于给定的信道，总存在一种信源分布（其概率分布为 ），使信道的信息率R达到最大。这个最大的信息率定义为该信道的信道容量，记为C，即： bit/符号 使得给定信道的达到信道容量的输入分布，称为最佳输入(概率)分布，记为,定理 如果信道给定（即给定 ），那么 是输入概率 的上凸函数。 定理 如果信源给定（即给定 ），那么 是转移概率 的下凸函数。,信道容量即为信道的最大信息传输率，而此最大信息传输率必须是在信源取最佳分布时才能获得。此时C只与信道转移概率p有关。,对于一个特定信道，其信道容量是确定的，是不随信源分布而变的，信道容量C取值的大小，直接反映了信道质量的高低。但是信道的信息传输率R只有在信源取最佳分布时，才能达到极大值。,平均每秒钟传输的信息量为：,称为信息传输速率，单位为：比特/秒，,一般仍称为信道容量，但增加一个下标。,而该信道单位时间内传输的最大信息量为：,5.2 离散信道的统计描述及分类,离散信道的统计描述及分类 信道的输入和输出之间一般不是确定的函数关系，而是统计依赖的关系。只要知道信道的输入信号、输出信号，以及它们之间的统计依赖关系，那么信道的全部特性就确定了。 根据信道的用户多少，可以分为： (1)两端(单用户)信道。它是只有一个输入端和一个输出端的单向通信的信道。 (2)多端(多用户)信道。它是在输入端或输出端至少有一端有二个以上的用户，并且还可以双向通信的信道。,根据输入和输出信号的特点，信道可以分为： (1)离散信道。指输入和输出的随机变量的取值都有是离散的信道。 (2)连续信道。指输入和输出的随机变量的取值都是连续的信道。 (3)半离散半连续信道。输入变量是离散型的但相应的输出变量是连续的信道，或者相反。 (4)波形信道。信道的输入和输出都是一些时间上连续的随机信号。即信道输入和输出的随机变量的取值是连续的，并且还随时间连续变化。一般用随机过程来描述其输入和输出。,1.基本信道(最简单的信道) 发端 X:a1,a2,aq 收端 Y:b1,b2,bm (m不一定等于q),按有无噪声来分类: (1)无干扰(无噪声)信道 例1 X=a1,a2,a3,a4,这为收端与发端一一对应的情况。(无扰无损),例2:,不是一一对应,无扰有信息损失,(2)有扰信道 例3:,有扰有信息损失,干扰严重,例4:,信息全部被信道损耗。 从信道有无损失的观点来看：有扰全损信道！,例5：,有扰无信息损失,2.扩展信道(延长信道),一般离散信道输入和输出却是一系列时间(或空间)离散的随机变量,即随机序列。其信道模型如下：,扩展离散信道,(1)有无干扰的角度对信道分类 a、无扰信道 例1：X=a1=0，a2=1 Y=b1=0，b2=1 N=2，2维扩展,无干扰无信息损失。,无干扰有信息损失。 无扰不等于无损！,b、有扰信道 例3：基本信道 X=a1=0，a2=1 X=b1=0，b2=1,有扰有信息损失的信道,(2)考虑到信道对前后码元的影响 a. 无记忆信道,b.有记忆的信道 (前后码元有关联的信道),5.3 信道容量及其一般计算方法,信息传输率 R=I(X;Y)=H(X)-H(X|Y)=H(Y)-H(Y|X)比特/符号 Rt=I(X;Y)/t=1/t*H(X)-H(X|Y)比特/秒 当信道矩阵P(y/x)给定时,I(X;Y)是P(X)的型凸函数,也就是说在某一种概率分布条件下: C=max I(X;Y)比特/符号 C=max I(X;Y)/t 比特/秒 信道容量C(或)是信道的核心指标。P(Y/X)给定后,它是客观存在的,是通过I(X;Y)对P(X)求极值来求出,而与信源的具体分布无关。,1.离散无损信道及无扰,有损信道的信道容量 (1)无扰、无损信道 I(X;Y)=H(X)-H(X/Y)=H(Y)-H(Y/X) X=a1,a2,ar Y=b1,b2,br,(2) 有扰、无损信道,I(X;Y)=H(X)-H(X/Y)=H(Y)-H(Y/X) C=maxH(x)=log2r (r=信源个数),(3)无扰、有损信道,X：a1，a2，ar Y：b1，b2，bs 其中rs, I(X;Y)=H(Y)-H(Y/X)(噪声熵为零) I(X;Y)=H(X)-H(X/Y)(信息损失不为零) C=maxH(Y)=log2 r (S=信宿个数),小结:四种信道,无噪有损信道H(Y/X)=0,有噪无损信道H(X/Y)=0,I(X;Y),H(Y),H(X),I(X;Y)=H(X)-H(X/Y) I(X;Y)=H(Y)-H(Y/X),2.对称离信道容量的计算,定义:若信道转移矩阵中所有行矢都是第一行的一种置换,就称置换,就称对于输入是对称的。,例：,定义：若信道转移概率矩阵中所有列都是第一列的一种置换，就称信道对于输出为对称的。,例：,性质：若信道输出为对称的，当输入事件等概时，则输出概率P(bj)为:,定义:若信道输出集Y可以切分成几个子集,而每个子集所对应的信道转移矩阵P中的列所组成的子阵具有下述性质: 1.每一行都是第一行的置换 2.每一列都是第一列的置换 则称该信道为准对称信道。,例：,特别：当输出集Y划分的子集，只需划分一个，此进信道对于输入和输出都是对称的，称它为对称信道,定义：若输入符号和输出符号个数相同,都等于r,而且信道矩阵为:,则称此信道为强对称信道或均匀信道。,(1)在对称信道情况下的信道容量,在对称信道条件下:,在强对称信道情况下,(2)准对称信道的信道容量 容量C 输入概率为等概分布,3.一般离散信道的信道容量的计算,一般情况下,当信道不具有对称性时,求解信道容量就不容易了,若信道转移概率矩阵是非奇异方阵时(此时m=q)可按下述方法求解:,步骤:,下面我们对一般的式子作进一步的讨论: 第一步:引进一个新函数,第二步:求偏导数解方程组,假设对上述方程组求解得到使I(X;Y)达到极值的概率分布是P1,P2,Pq,然后把上式中前面q个方程式两边分别乘以达到极值的输入概率并求知得:,上式左边即为信道容量C C= +loge 由于是待定常数,故并来求得真正的计算结果,要真正求解出信道容量C,尚应作进一步假设。但作进一步的假设，运算仍将十分复杂，几乎不能得到准确答案。 定理：一般离散信道的平均互信息I(X;Y)达到极大值(即等于信道容量)的充要条件是输入概率分布Pi满足: I(ai;Y)=C 对于所有i,其Pi0 I(ai;Y) C 对于所有i,其Pi=0 这时常数C就是所求的信道容量。,5.4离散无记忆N次扩展信道的信道容量,当各分信源同时取得最佳分布时：,离散无记忆信道的N次 扩展信道的信道容量,离散无记忆N次扩展信道的信道容量等于原单符号离散信道的信道容量的N倍，且只有当输入信源是无记忆的，并且每一输入变量的分布各自达到最佳分布时，才能达到这个信道容量值NC。,因为各变量在同一信道中传输，所以有：,信源与信道的匹配,定义 设信道的信息传输率为： 信道容量为C，则定义信道剩余度为：,当信道为无损信道时,则剩余度为：,对于无损信道，其信道剩余度与信源剩余度完全等价，信源剩余度减少多少，则信道剩余度也减少多少，为了减少信道剩余度，可以对信源进行压缩编码，提高信源的熵，使信道信息传输率尽可能地接近信道容量，从而使信源与信道匹配，信道得到充分利用。,定理设离散信道的输入序列为 通过信道传输，接收到的随机序列为 ，而信道的转移概率为 。,1、若信道是无记忆的，则有：,当信道无记忆时，拆开传输相当于此信源无记忆，那么此时获取的信息显然是比捆绑在一起传输要大。,2、若信源是无记忆的，则有：,当信源无记忆时，则主要考虑信道的情况，那么显然捆绑在一起传输时在信道中的损失要比单个传输时损失得少，所以此时捆绑在一起得互信息要大些。,3、信源与信道都是无记忆的，则有：,5.5 信道的组合 （1）串联信道 定理 若随机变量XYZ组成马尔可夫链，则有 信息不增性原理：通过信道的信息不会增加,独立并联信道 等效成一个N次扩展信道 ，等效信道无 记忆的，平均互信息量满足 独立并联信道的信道容量为,信道剩余度 信道相对剩余度,5.6 连续信道的信道容量 连续信道是时间离散、幅值连续的信道。 连续信道的数学模型 统计特性由转移概率密度函数 描述，满足如下约束条件： 多维连续信道的数学模型记为,加性噪声信道的信道容量表达式 对于加性高斯噪声信道 根据概率论知识，可推导出联合概率密度函数为 因此信道的转移概率密度函数： 加性高斯噪声信道的信道容量为,波形信道及其信道容量 波形信道（waveform channel）：输入/输出 随时间连续取值、且取值集合是连续区间的信道。 波形信道采样（在持续时间内采N个样点） 连续信道N趋近于。 波形信道的平均互信息量 持续时间为T的波形信道的信道容量为,带限、加性高斯白噪声信道（无记忆） 当所有输入分量的平均功率 都相等时，出现最大值。 信道容量为 单位化为“ ”，则为 上式就是有名的仙侬信道容量公式。,小结：信息论的研究意义,1、信息论对信道编码的指导意义,信道编码定理：每一个信道具有确定的信道容量C，对于任何小于C的信息传输率R，总存在一个码长为n，码率等于R的分组码，若采用最大似然译码，则其译码错误概率PE满足 PEAe-nE(R) 其中：A是常数，E（R)为误差函数 错误概率PE越小，传输可靠性越高。增大码长n也可提高传输可靠性,误差函数E（R)与信息传输率R的关系曲线： E（R)是关于R的单调递减函数，同样的R，信道容量C不同时，E（R）也不同，C越大，E（R)值也越大。,c1,c2,0,R,E(R),C2C1,信道容量的计算： C=Wlog(1+PS/(WN0) W为信道带宽， PS是为信号平均功率，N0高斯噪声功率谱 令PS=Rt .Eb ， Rt 为信息传输速率，Eb 为传输每一比特信息所需平均功率。 C=Wlog(1+（Rt/W） （Eb /N0) 每赫兹带宽传输每比特信息所需信噪功率比。,在信道带宽不受限制的情况下，信道容量仅取 决于信噪比。 Eb/N0=（2C/W-1）/ （Rt/W） W, Rt C,最小信噪比： （Eb/N0）min=lim （2C/W-1）/ （C/W）=ln2=-1.6dB W 称为香农限,2、信息论对信源编码的指导意义,有效性是指在一定时间内如何传输尽可能多的信息量。或在每一个传送符号内携带尽可能多的信息量。 对信源进行高效编码，去除信源中多余度。 信源多余度有：统计多余度、结构多余度、视觉多余度、时间多余度、空间多余度等，需要采用不同方法消除。 香农信息论讨论的是统计多余度。,统计多余度包括信源前后符号间相关性带来的多余度和信源符号分布不均匀导致的多余度。,香农第一定理和第三定理分别从理论上给出无失真信源编码与限失真信源编码的压缩极限。,信息论的发展简史,信息论从诞生到今天已经有50多年的历史了，信息论是在长期的通信工程实践和理论研究的基础上发展起来的。通信系统是人类社会的神经系统，即使在原始社会也存在着最简单的通信工具和通信系统，这方面的社会实践是悠久而漫长的。,仙侬信息论的贡献,1948年发表“通信的数学理论”，标志着信息论的诞生； 1949年发表“保密通信的信息理论”，首先用信息论的观点对信息保密问题作了全面的论述； 1959年发表“保真度准则下的离散信源编码定理”-提出信息率失真理论，为信源压缩编码研究奠定理论基础； 1961年发表“双路通信信道