信道及信道容量

第5 章 信道及信道容量教学内容包括：信道模型及信道分类、单符号离散信道、多符号离散信道、多用户信道及连 续信道51信道模型及信道分类教学内容：1、一般信道的数学模型2、信道的分类3、信道容量的定义1、一般信道的数学模型 影响信道传输的因素：噪声、干扰。 噪声、干扰：非函数表述、随机性、统计依赖。 信道的全部特性：输入信号、输出信号，以及它们之间的依赖关系。 信道的一般数学模型：X P (X/Y) Y图5.1.1 一般信道的数学模型2、信道的分类输出随机信号V离散信道、连续信道、半离散或半连续信道输入、输出随机变量个数单符号信道和多符号信道输入和输出的个数单用户信道和多用户信道信道上有无干扰y有干扰信道和无干扰信道有无记忆特性气有记忆信道和无记忆信道3、彳信道容量的定义衡量一个信息传递系统的好坏，有两个主要指标：速度指标速度指标：信息(传输)率R，即信道中平均每个符号传递的信息量;质量指标：平均差错率Pe，即对信道输出符号进行译码的平均错误概率；目标：速度快、错误少，即R尽量大而Pe尽量小。 信道容量：信息率R能大到什么程度；R 二 I (X; Y)二 H (X) - H (X / Y)二 H (Y) - H (Y / X)若信道平均传送一个符号所需时间为t秒，则1R 二-1 (X; Y)t( bit/s)称Rt为信息(传输)速率。分析：对于给定的信道，总存在一个信源(其概率分布为P(X)*)，会使信道的信息率R达到 最大。(1 (X; Y)是输入概率P( X)的上凸函数，这意味着1 (X; Y)关于P( X)存在最大值) 每个给定的信道都存在一个最大的信息率，这个最大的信息率定义为该信道的信道容 量，记为C，即C = max R 二 max I (X; Y)pxpxbit/符号(5.1.3)C信道容量也可以定义为信道的最大的信息速率，记为CtC = max R = max11(X; Y) >tPX tPX "J (bit/s)(5.1.4)解释：(1) 信道容量C是信道信息率R的上限，定量描述了信道(信息的)最大通过能力；(2) 使得给定信道的1 (X; Y)达到最大值(即信道容量C)的输入分布，称为最佳输入(概 率)分布，记为P(x)* ；(3) 信道的1 (X; Y)与输入概率分布P(X)和转移概率分布P(Y / X)两者有关，但信道容量 C是信道的固有参数，只与信道转移概率P (Y / x)有关。4、意义：研究信道，其核心问题就是求信道容量和最佳输入分布。根据定义，求信道容量问题就是求 平均互信息量1 (X; Y)关于输入概率分布P(X)的最大值问题。一般来说，这是一个很困难 的问题，只有对一些特殊信道，如无噪信道等，才能得到解析解，对于一般信道，必须借助 于数值算法。事物是普遍联系的，随机变址之间也存在相关关系某种様作诚联系如何从倍息的角度刻画x与y之间的相关程度？ C贰独观察X，得到的信息童足H(X)已知y之后,X的信息变为H(XY)了解了y之后.X的信息童减少了H(X)-HWY) 这个减少量足得知)取(fiZ后提供的关ET的信息52 离散无噪信道的信道容量教学内容：1、无损信道2、具有扩展性能的无噪信道3、具有归并性能的无噪信道1、 具有一一对应关系的无损信道给出信道矩阵。 噪声熵H (Y/X) =0,信道疑义度H (X/Y) =0,固有I (X; Y)二 H (X)二 H (Y)根据信道容量的定义，有C 二 max I (X; Y)二 max H (X)二 log nP(xi )P(xi )2( 5.2.1)式(5.2.1)表明当信源呈等概率分布时，具有一一对应的确定关系的无噪信道达到信道容 量，其值就是信源X的最大熵值。这个结果还表明，信道容量只决定于信道的输入符号数n, 与信源无关，是表征信道特性的一个参量。2、具有扩展性能的无噪信道信道矩阵是p(y1/x1) p(y2 /x1)0000p(y3y7X1X2X3/图5.2.2 0具有扩展性能的无噪信道举例X1丿0p(y4/x2)p(y5/x2)p(y6 /x2)00000p(y7 /x3)00p(y8 /x3)信道疑义度H(X / Y)二0。故有I (X; Y)二 H (X)O显然其信道容量C 二 max I (X; Y)二 max H (X)二 log nP(xi )P(xi )2(5.2.2)与一一对应信道不同的是，此时输入端符号熵小于输出端符号熵，即H(X) < H(Y)。3、具有归并性能的无噪信道y3H (X / Y)丰 0 噪信道举例匸信道的噪声熵H(Y/ X)二0，但是信道疑义度 相应的信道容量为图5-2-3具有归并性能的无C 二 max I (X; Y)二 max H (Y)二 log mP(x )P( x )2尽管式中平均互信息I(X;Y)等于输出端符号熵H(Y)，但是在求极大值时，调整的仍然是 输入端的概率分布P(Xi);而不能用输出端的概率分布P(yj)来代替。对于图5.2.3，其信 道容量是log23=1.585 ( bit/信道符号)。那么，要达到这一信道容量，对应信源的概率分 布是什么呢？由信道矩阵有p(y ) = p(x ) x 1 + p(x ) x 1112，p (y )二 p (x ) x 1 + p (x ) x 1235，p (y )二 p (x ) x 1361p(y ) = p(y ) = p(y )=怎片仔、只要 1233，H(Y)达到最大值，即达到信道容量C。此时使p ( y1) = p ( y 2) = p ( y 3)的信源概率分布 p (xi)，i = 1，2,，6存在，但不是惟一的。这种 信道的输入符号熵大于输出符号熵，即H(X) > H(Y)。综合以上三种无噪信道的分析，我们得出一个结论，无噪信道的信道容量 C 只决定于信道 的输入符号数n,或输出符号数m,与信源无关，是表征信道特性的一个参量。53 强对称离散信道的信道容量教学内容：1、21、信道矩阵特点信道容量计算信道矩阵特点：对称平均地分配给(n-1)个输出符号。信道矩阵为(nxn)这类信道中总的错误概率是P,阶对称矩阵。pnxnpn-1pn - 1pp一7n - 1pn-1pn-1p_ n 12、信道容量计算 I(X;Y)=H(Y)-H(Y /X) 其中条件熵H(Y / X)=工E p(x )p(y / x )log2 p(y /x )=工 p(x )Hij i 2 j ii=1 j=1nii=1(5.2.4)上式中H = -E p ( y / x ) log2 p ( y / x )nij i 2 j i于信道的对称性，每一行都是同一集合诸元素的不同排列，所以H = -p log p - (n -1) x ni2丄log丄n 12 n 1 丿于是得信道容量c = maxH(Y)- H p( xi)ni 。这就变成求一种输入分布p(xi)使H(Y)取最大值的问题了。现已知输出符号集Y共有n个p(y )=1符号，则H(Y) <logn。根据最大离散熵定理，只有当 j _ n，即输出端呈等概率分布 时，H(Y)才达到最大值log n。要获得这一最大值，可通过公式j = 1,2,nnP(y )=乙 P(x )p(y. / x )i=1jij i寻找相应的输入概率分布。现在观察信道矩阵，我们发现其特殊性：n 一 1 n 一 1V'信道矩阵中的每一行都是由同一集合I（n-1）个J中的诸元素的不同排列组成，所以保证了当输入符号X是等概率分布,p(x.)二- 即i n 时，输出符号Y定是等概率分布，这时H(Y) = log2n。相应的信道容量为(pp 'C = log n 一 H = log n 一 H p,，,2 ni 2( n 1 n 1 丿（bit/信道符号）=log n + p log p + p log 二222 n 一1当n=2时，就是二进制均匀信道，根据式（5.2.7）可计算出信道容量C = 1 + p log p + p log p = 1 H (p)2 2 ,其中_H (p) = (p log p + p log p)2 2 , 二进制均匀信道容量曲线如图5.2.4 所示。54 对称信道的信道容量教学内容：1、对称信道的定义2、信道容量1、对称信道的定义：如果一个矩阵的每一行都是同一集合Q G q1，q2,，qm 中诸元素的不同排列，我们称 矩阵的行是可排列的；如果一个矩阵的每一列都是同一集合P G p1，p2,，pn 中诸元素 的不同排列，我们称矩阵的列是可排列的；如果一个矩阵的行和列都是可排列的，则称这个 矩阵是可排列的，或称它具有可排列性。如果一个信道矩阵具有可排列性，它所表示的信道 称为对称信道。其信道矩阵如下图：-1111p =3 3 6 611111_ 66332、信道容量 根据平均互信息的定义I(X; Y) = H (Y) H (Y / X)=H(Y) +p(x )p(儿 / x )log2 p(y / x )i j i 2 j ii=1 j=1=H(Y)工 p(x )Hi mi其中i=1H =-乙 p(y. /x)log2 p(y. /x)mij i2j ii=1,类似于均匀信道的情况，H.也是与输入X无关的常数，故有H(Y / X ) = Hmi，代入 mi上式得I(X; Y) = H (Y) H = H (Y) H (q , q ,q )mi12m ,对应的信道容量为C = maxH(Y) H = log m H(q ,q，,q )p(xi)mi21 2m(5.2.8)式(527)与式(525)形式相同，只是此时的m加。由于对称信道的特点，容易证明，输 入随机变量X等概率分布时，输出随机变量Y也是等概率分布，从而使Y的熵达到最大值 lOg m，即达到信道容量Co55 准对称离散信道的信道容量教学内容：1、定义2、特点3、信道矩阵4、信道容量1、定义如果一个n行m列单符号离散信道矩阵P的行是可排列的，列不可排列。但是矩阵中的m列可分成s个不相交的子集，各子集分别有m1，m2,., m个元素(m1+m2 + _ +m =m),12s12s若由n行mk (k=l，2,., s)组成的子矩阵Pk具有可排列性，则称这信道为准对称信道。 2、特点行具有可排列性，列不具有可排列性。但是把矩阵的前两列和后两列分成互不相交的子集, 构成两个子矩阵，两个子矩阵的行和列均是可排列的，故信道p是准