编码理论 第二版 教学课件 ppt 作者 田丽华 第1-5章 第5章

第5章 信道编码原理,5.1 信道及其数学模型 5.2 信道编码的基本概念 5.3 译码准则 5.4 编码原则 5.5 抗干扰信道编码定理及逆定理,5.1 信道及其数学模型 5.1.1 信道分类 信道是指信息传输的通道。在实际信息传输中所利用的各种物理通道是信道的最典型的例子，如电缆、光纤、电波传播的空间、载波线路等等。除了这些为在空间上将信息进行传输的信道以外，信息传输中所研究的信道还包括那些为了在时间上将信息进行传输的信道，如磁带、光盘等。有时把为了某种目的而使信息不得不经过的通道也看做信道，例如一个分类器的输入到它的输出就可以看做是一个信道。信道本身的物理组成可能是千差万别的。,最简单的如一个放大器的输入到输出，而复杂的如一条国际信息传输的线路，其中可能包括终端设备、线路设备、电缆、微波等等。信息传输中研究的信道其输入点和输出点在一个实际物理通道中所处位置的选择完全取决于研究者兴趣，例如，可以把信息传输中发送天线到接收天线之间的通道看做信道，也可以把信息传输中从话机到话机之间的通道看做信道。,在信息传输系统中,信道按其物理组成常被分成微波信道、光纤信道、电缆信道等。这种分类是因为信号在这些信道中传输的过程遵循不同的物理规律，而信息传输技术必须研究这些规律以获得信号在这些信道中传输时的特性。本书不研究这些传输特性的获得问题，而假定传输特性是已知的，并在此基础上研究信息的传输问题。因为如果不研究信号在信道中传输的物理过程，并假定信道的传输特性是已知的，就可以抽象地将信道用其输入/输出的统计关系模型来描述，并按其输入/输出信号的数学特点以及输入输出信号之间关系的数学特点进行分类。具体地讲，信道的分类方法可以有以下几种：,(1)信道按其输入输出信号在幅度和时间上的取值是离散或连续来划分,可分成三类，分别是数字信道(DigitalChannel)或离散信道(DiscreteChannel)、模拟信道(AnalogChannel)或波形信道(WaveformChannel)和连续信道(ContinuousChannel)。 (2)信道按其输入/输出之间关系的记忆性来划分,可分为无记忆信道和有记忆信道两类。如果信道的输出只与信道该时刻的输入有关而与其他时刻的输入无关，则称此信道是无记忆的；反之,如果信道的输出不但与信道现时刻的输入有关，而且还与以前时刻的输入有关，则称此信道为有记忆的，实际信道一般都是有记忆的。信道中的记忆现象来源于物理信道中的惯性元件,如电缆信道中的电感电容、无线信道中电波传布的衰落现象等。,(3)信道按其输入/输出信号之间的关系是否是确定关系来划分，可分为有噪声信道和无噪声信道。一般来讲，信道输入与输出之间的关系是一种统计依存关系，而不是确定关系。这是因为信道中总存在某种程度的噪声。在某些情况下，若信道中的噪声与有用信号相比很小可以忽略不计，则这时的信道可以理想化为具有确定关系的无噪声信道。,5.1.2 信道数学模型 1.基本离散信道 基本离散信道允许输入r(任意正整数)种不同的离散符号ai(i1，2，r)，其相应的输出为s(任意正整数)种不同的离散符号bj(j1，2，s)。如图51所示。,图51 基本离散信道,基本离散信道的输入符号集X=a1,a2,ar，输出符号集Y=b1,b2,bs。符号集X和Y之间可完全相同、部分相同或完全不同。符号种数r和s可相等，也可不等。若信源X的符号集与信道的输入符号集完全一致，则信源X的每一种符号ai都能通过信道。当信源X=a1,a2,ar发送某一符号ai(i1，2，r)时，信道对这个符号的传递作用，就是以一定的概率在信道的输出端出现某符号bj(j1，2，s)，这个概率就是bi的条件概率p(bj| ai)(i=1,2,r;j=1,2,s)，这个条件概率就集中体现了信道对输入符号ai(i1，2，r)的传递作用。,由于不同的信道有不同的条件概率，因此条件概率p(bj|ai)(i=1,2,r;j=1,2,s)称为信道的传递概率。因为信源X=a1,a2,ar中某符号ai(i1，2，r)经信道传递后，在信道的输出端输出以一定概率出现的信道符号集Y=b1,b2,bs中的某符号bj(j1，2，s)，所以在信道的输出端输出与信源X=a1,a2,ar相对应的随机变量Y=b1,b2,bs。,因信道的输入有r种不同的输入符号，输出有s种不同的输出符号，所以要完整描述信道的传递特性则必须测定r×s个条件概率，即,按输入、输出符号的对应关系，可将r×s个条件概率排列成一个r×s阶矩阵,（52）,式中：,且,(i=1,2,r)。,由于矩阵P所表达的信道的输入符号集X=a1,a2,ar、输出符号集Y=b1,b2,bs以及（r×s）个传递概率p(bj|ai)(i=1,2,r;j=1,2,s)完整地描述了基本离散信道的传递特性，所以把矩阵P称为基本离散信道的信道矩阵。,当p(bj|ai)=0时，表示在输入符号为ai(i1，2，r)的前提下，信道不可能输出bj(j1，2，s);当p(bj|ai)1时，表示在输入符号为ai(i1，2，r)的前提下，信道输出bj(j1，2，s)是一个确定事件。由于噪声的随机干扰使得在信道输入某符号ai(i1，2，r)的前提下，信道输出哪一种符号虽然是不确定的，但一定是信道输出符号集Y=b1,b2,bs中的某一种符号，绝不可能是符号集Y=b1,b2,bs以外的任何其他符号。,【例51】 二元对称信道简记为BSC(BinarySymmetricChannel)，其输入/输出符号均取值于0，1，若r=s=2,且a1=b1=0,a2=b2=1又有转移概率,于是，可得BSC的信道转移概率矩阵P为,0 1,二元对称信道转移图如图52所示。 可见，这些转移概率满足,图52 二元对称信道转移图,【例52】 二元删除信道简记为BEC(BinaryErasureChannel),它的输入X取值于0，1，输出符号Y取值于0，2，1，因r=2，s=3，则信道转移矩阵为,0 2 1,二元删除信道转移图如图53所示。 这种信道实际中是存在的，当信号波形传输中失真较大时，在接收端不是将接收信号硬性判为0和1，而是根据最佳接收机额外给出的信道失真信息增加一个中间状态2(称为删除符号)，之后，采用特定的纠删编码可有效地恢复出这个中间状态的正确取值。,图53 二元删除信道转移图,2.离散无记忆扩展信道 设基本离散信道的输入符号集为X=a1,a2,ar，输出符号集为Y=b1,b2,bs，传递概率为p(Y|X)=p(bj|ai)(i=1,2,r;j=1,2,s);又设多符号离散平稳信源X=X1X2XN其每一时刻的随机变量Xk(k=1,2,N)均取自且取遍于信道的输入符号集X=a1,a2,ar,可知信源X=XX2Xn共有rN种不同的消息，某一具体的消息可表示为,（53）,式中：ai1,ai2,aiNX=a1,a2,ar；i1，i2，iN=1，2，r(i=1,2,rN)。,图54 N次扩展信道,在第1时刻，因为随机变量X1X=a1,a2,ar，所以X1出现的符号ai1a1,a2,ar是信道能传递的符号，经信道传递后，在信道的输出端出现符号集Y=b1,b2,bs中的某一符号bj1b1,b2,bs，在信道的输出端有一个与X1相对应的随机变量Y1。这样，对于信源X= X1X2XN发出的某一具体消息i=ai1ai2aiN经过信道N个时刻的传递后，在信道的输出端就有由N个符号组成的时间序列j=bj1bj2bjN，其中每一时刻的符号bjk(k=1,2,N)都取自且取遍于信道的输出符号集Y=b1,b2,bs。这就是说，相对于信源X= X1X2XN ，在信道的输出端，有一个N维的随机变量序列Y= Y1Y2YN与之相对应。输出的随机变量序列Y=Y1Y2YN共有sN种不同的消息，其中某一具体的消息可表示为,所以，从整个传递作用的宏观效果来看，相当于形成了这样一个信道,即信道的输入是X=X1X2XN,输出是Y=Y1Y2YN。这个信道被称为基本离散信道的N次扩展信道。显然，式(53)所表示的i(i=1,2,rN)组成了N次扩展信道的输入符号集X=1,2,rN，式(54)所表示的j(j=1,2,sN)组成了N次扩展信道的输出符号集Y=1,2,sN。与基本离散信道相比，N次扩展信道的输入符号数由r种扩展为rN种,输出符号数由s种扩展为sN种。,式中：,j1，j2，jN=1，2，,s(j=1,2,sN)。,表征N次扩展信道的传递特性的基本参量是在输入信源X=X1X2XN的条件下，输出随机序列Y=Y1Y2YN的条件概率，即 式(55)由rN·sN个具体输入消息i(i=1,2,rN)和输出消息j(j=1,2,sN)的传递概率组成，即,(55),（56）,当然，同样可把rN·sN个传递概率，按输入/输出的对应关系构成N次扩展信道的传递矩阵,（57）,式中：,且,(i=1,2,rN)。,与基本离散信道X,p(Y|X),Y相比，N次扩展信道的信道矩阵P由r·s阶矩阵扩展为rN·sN阶矩阵。N次扩展信道是基本离散信道在N个时刻中连续传递N个随机变量Xk(k=1,2,N)形成的总体传递作用。但对一般N次扩展信道来说，传递概率p(Y|X)=(Y1Y2YN|X1X2XN)与基本离散信道的传递概率p(Y|X)没有什么直接联系，必须予以实际测定。,若N次扩展信道的传递概率p(Y|X)=p(Y1YYN|X1X2XN)等于N个时刻基本离散信道的传递概率p(Y|X)的N次连乘,即,（58）,也就是,（59）,【例53】已知某二进制对称离散无记忆信道。设信道的输入符号集为X=0,1，输出符号集为Y=0,1，信道的矩阵为,其中： ，求此离散无记忆信道的二次扩展信道的信道矩阵。,解 二维离散平稳信源X=X1X2接入二元对称离散无记忆信道后，在信道的输出端相应出现了二维随机变量序列Y=Y1Y2。从宏观角度看，形成了一个输入为X=X1X2，输出为Y=Y1Y2的二次扩展离散矩阵,由此可见，离散无记忆信道的二次扩展信道同样也是对称信道。,5.2 信道编码的基本概念 5.2.1 基本概念 信道编码的目的是改善信息传输系统的传输质量。由于实际信道存在噪声和干扰的影响，使发送的码字与经信道传输后所接收的码字之间存在差异，这种差异称为差错。一般情况下，信道噪声、干扰越大，码字产生差错的概率也就越大。在无记忆信道中，噪声独立随机地影响着每个传输码元，因此接收的码元序列中的错误是独立随机出现的。以高斯白噪声为主体的信道属于这类信道。比如太空信道、卫星信道、同轴电缆、光缆信道以及大多数视距微波接力信道，均属于这一类型信道。在有记忆信道中，噪声、干扰的影响往往是前后相关，且错误是成串出现的。通常称这类信道为突发差错信道。,实际的衰落信道、码间干扰信道均属于这类信道。典型的有短波信道、移动通信信道、散射信道以及受大的脉冲干扰和串话影响的明线和电缆信道，甚至还包括在磁记录中，由于痕迹、涂层缺损等造成的成串的差错。有些实际信道既有独立随机差错也有突发性成串差错，称它为混合信道。对不同类型的信道，要对症下药，设计不同类型的信道编码，才能收到良好的效果。所以按照信道特性和设计的码字类型划分，信道编码可分为纠独立随机差错码、纠突发差错码和纠混合差错码。从信道编码的构造方法看，其基本思路是根据一定的规律在待发送的信息码中加入一些多余