4第四讲信道容量及其计算ppt课件.ppt

    第四讲          4 4－－1 1 信道容量信道容量 4 4－－2 2 信道容量的计算方法信道容量的计算方法信道容量及其计算信道容量及其计算YXa1=0pp1-p   1=b2  a2=1   0=b11-p1、常见的简单、常见的简单DMC离散信道：离散信道：二元对称信道二元对称信道 （（DSCDSC）：输入符号）：输入符号X X取值于取值于{0,1}{0,1}，， 输出符号取值于输出符号取值于{0,1}{0,1}，传递概率为，传递概率为 4 4－－1 1 信道容量信道容量二元删除信道二元删除信道 （（BEC）：输入符号）：输入符号X取值于取值于{ 0, 1}，， 输出符号取值于输出符号取值于{ 0, 2, 1}，传递概率为，传递概率为01q1-p1-qp120010？21删除信道的必要性删除信道的必要性 2 2、、 信道容量定义信道容量定义信息传输率：信道中平均每个符号所能传送的信息量信息传输率：信道中平均每个符号所能传送的信息量 R = I(X;Y) = H(X)-H(X|Y) （（bit/符号）符号）        有时我们需要关心单位时间内〔一般为秒为单位〕平均传输的信息量，若平均传输一个符号需要 t 秒，则信道每秒平均传输的信息量为〔速率） I〔〔X；；Y〕是输入随机变量的概率分布的上凸函数，〕是输入随机变量的概率分布的上凸函数，所以对于固定的信道，总存在一种信源分布，使传输所以对于固定的信道，总存在一种信源分布，使传输每个符号平均获得的信息量最大，也就是说，每一个每个符号平均获得的信息量最大，也就是说，每一个固定信道都有一个最大的信息传输率。

固定信道都有一个最大的信息传输率 信道容量定义为信道中每个符号所能传递的最大信道容量定义为信道中每个符号所能传递的最大信息量，也就是最大信息量，也就是最大 I (X；；Y)值 此时输入的概率分布称为最佳输入分布此时输入的概率分布称为最佳输入分布  信道容量信道容量C与输入信源的概率无关〔与输入信源的概率无关〔C只对应着一种只对应着一种信源概率分布，即最佳概率分布），它只是信道传输概信源概率分布，即最佳概率分布），它只是信道传输概率的函数〔不同的转移概率对应不同的信道），只与信率的函数〔不同的转移概率对应不同的信道），只与信道的统计特性有关，所以信道容量是完全描述信道特性道的统计特性有关，所以信道容量是完全描述信道特性的参量        信道容量表示了信道传送信息的最大能力，这个量在信息论研究中有重要意义编码定理将证明：传送的信息量R必须小于信道容量C，否则传送过程中将会造成信息损失；若R

集的不同的排列组成 1/31/31/61/61/31/31/61/6行列1/21/31/61/61/31/21/31/61/2行列而以下两个矩阵不是对称的，而是准对称的而以下两个矩阵不是对称的，而是准对称的行对称而不是列对称）（行对称而不是列对称）1/31/31/61/61/31/31/61/6二元对称信道的容量：二元对称信道的容量： 例：例：0. 70. 10. 20. 20. 10. 7对于对称信道对于对称信道由于信道是对称的，上边的条件熵与由于信道是对称的，上边的条件熵与x x无关，所以无关，所以 对于对称信道，输入符号的概率分布为等概时，输出对于对称信道，输入符号的概率分布为等概时，输出符号也一定是等概的符号也一定是等概的 例：例： ( P 95－例3. 5 )输出符号集个数输出符号集个数（（2 2）、准对称信道的容量）、准对称信道的容量 准对称信道：信道矩阵〔列〕的子阵是对称矩阵准对称信道：信道矩阵〔列〕的子阵是对称矩阵定理：达到准对称离散信道信道容量的输入分布为定理：达到准对称离散信道信道容量的输入分布为 等概分布等概分布r是输入个数，n是不相交子集数，Nk是行之和，Mk是列之和解：达到信道容量的输入分布为等概分布。

解：达到信道容量的输入分布为等概分布此时输出分布为：此时输出分布为：例：求二元对称删除信道的例：求二元对称删除信道的C C例3.83.8中特例中特例 ））1-q1-q012（与公式计算的结果相同）此时平均互信息就是信道容量此时平均互信息就是信道容量此例题可作为后面：一般信道容量充分必要条件定理此例题可作为后面：一般信道容量充分必要条件定理的例子该定理说明：只要信源每个符号对于输出端的例子该定理说明：只要信源每个符号对于输出端Y提供相同的互信息〔概率为零的除外），则此时提供相同的互信息〔概率为零的除外），则此时平均互信息就是信道容量平均互信息就是信道容量定理：一般离散信道的平均互信息定理：一般离散信道的平均互信息 I(X;Y) 达到极大达到极大 值的充要条件是：输入概率矢量值的充要条件是：输入概率矢量 满足满足 其中其中 是信道输入是信道输入x=k时，关于信道输时，关于信道输 出一个字母的平均互信息，即出一个字母的平均互信息，即（（3）、一般）、一般DMC容量的计算容量的计算 一般信道容量的计算方法一般信道容量的计算方法 （拉格朗日乘子法）（拉格朗日乘子法）定理定理1：如果信道的输入随机序列为：如果信道的输入随机序列为 通过信道传输，接收到的随机序列为通过信道传输，接收到的随机序列为 若信道是无记忆的，即满足若信道是无记忆的，即满足 那么那么（（4）、扩展信道的信道容量）、扩展信道的信道容量证明：设信道输入输出序列X和Y的一个取值为因为信道是无记忆的：因为信道是无记忆的： 另一方面另一方面 这里用到〔全概率公式）这里用到〔全概率公式）定理定理2：如果信道的输入随机序列为：如果信道的输入随机序列为 通过信道传输，接收到的随机序列为通过信道传输，接收到的随机序列为 若信源是无记忆的，即满足若信源是无记忆的，即满足 那么那么所以，如果信道和信源都是无记忆的，那么所以，如果信道和信源都是无记忆的，那么（（5）、信道的组合）、信道的组合并联信道：两个或更多个信道并行，同时分别传送；并联信道：两个或更多个信道并行，同时分别传送；信道信道1 p(j|k)信道信道2 p(j’|k’)定理：独立并行信道的容量为各分信道容量之和。

定理：独立并行信道的容量为各分信道容量之和级联信道：信道级联信道：信道1的输出作为信道的输出作为信道2的输入和信道：随机选取信道和信道：随机选取信道1或信道或信道2传送，（并信道）传送，（并信道）定理：和信道的容量满足下式定理：和信道的容量满足下式    第四讲  信道容量及其计算                                    结   束。