单符号离散信道的信道容量.ppt

第3章 信道容量2024/9/171本章主要内容n单符号离散信道的信道容量单符号离散信道的信道容量n3.3 多符号离散信道的信道容量多符号离散信道的信道容量n连续信道及其容量连续信道及其容量n信道编码定理信道编码定理2024/9/172 单符号离散信道n单符号离散信道的信道模型单符号离散信道的信道模型 n设输入端信源符号集合为：n输出端信宿符号集合为：n信道转移概率为：令 n信道模型如图所示信道模型如图所示n Def：输入输出都取值于离散符号集合，且都用一个符号表示一条消息的信道 单符号离散信道的数学模型2024/9/173n单符号离散信道的单符号离散信道的信道统计特性信道统计特性用转移概率矩阵用转移概率矩阵表示表示：：n信道容量信道容量：传输信息不失真的条件下的最大平均：传输信息不失真的条件下的最大平均信息量或最大信息速率信息量或最大信息速率Rmaxn信道上传输的最大平均信息量：C=I(X;Y)maxbit/符号 n信道上传输的最大信息速率：Rmax信道统计特性2024/9/174n信道容量的计算信道容量的计算其中：t:传输一个符号需要的时间所以当信道特性所以当信道特性p(yp(yj j/x/xi i) )确定以后，确定以后，信道的容量信道的容量只和信源概只和信源概率分布率分布p(xp(xi i) )有关。

有关bit/bit/符号符号s/s/符号符号2024/9/175几种特殊离散信道的容量n具有一一对应关系的无噪信道：具有一一对应关系的无噪信道：n输出集合和输入集合的每个符号一一对应（输出集合和输入集合的每个符号一一对应（n=mn=m），见），见图图3.3(a)3.3(a)n信道转移概率矩阵为单位阵信道转移概率矩阵为单位阵n因为输入输出一一对应：所以因为输入输出一一对应：所以此时信道容量：此时信道容量：C=C=I(X;Y)I(X;Y)maxmax=H(X)=H(X)maxmax= H(Y)= H(Y)maxmax = =loglog2 2n n bit/ bit/符号符号1112024/9/176几种特殊离散信道的容量n具有扩展性能的无噪信道：具有扩展性能的无噪信道：n一对多（一对多（n n＜＜m m）见图）见图3.3(b),3.3(b),给定一个输出，必能找给定一个输出，必能找到对应的唯一输入，即信道疑义度到对应的唯一输入，即信道疑义度H(X/Y)=0H(X/Y)=0n信道转移概率矩阵：信道转移概率矩阵：每列有且只有一个非零元素每列有且只有一个非零元素nC=I(X;Y)C=I(X;Y)maxmax =[H(X)-H(X/Y)] =[H(X)-H(X/Y)] max max由于由于H(X/Y)=0=H(X)H(X/Y)=0=H(X)maxmax 所以所以=H(X)=H(X)maxmax = =loglog2 2n n bit/ bit/符号时间符号时间n:行数行数2024/9/177几种特殊离散信道的容量n具有归并性能的无噪信道：具有归并性能的无噪信道：n多对一（多对一（n n＞＞m m），见图），见图3.3(c)3.3(c)，给定，给定一个输入一个输入，必能找到对，必能找到对应的应的唯一输出唯一输出，即噪声熵，即噪声熵H(Y/X)=0H(Y/X)=0。

n信道转移概率矩阵：信道转移概率矩阵：每行有且只有一个非零元素每行有且只有一个非零元素nC=I(X;Y)C=I(X;Y)maxmax=[H(Y)-H(Y/X)]=[H(Y)-H(Y/X)] max max由于由于H(Y/X)=0H(Y/X)=0 所以所以=H(Y)=H(Y)maxmax = =loglog2 2m m bit/ bit/符号时间符号时间m:m:列数列数2024/9/178对称离散无记忆信道的信道容量n对称离散无记忆信道对称离散无记忆信道DMC（（Discrete Memoryless Channel）：）：矩阵的每一矩阵的每一行都是同一集合行都是同一集合Q =(q(q1 1,q,q2 2,…,q,…,qm m) )中各元素的不同排列，中各元素的不同排列，每一列都是关于同一集合每一列都是关于同一集合P =(p(p1 1,p,p2 2,…,p,…,pn n) )中各元素的不中各元素的不同排列，则称为同排列，则称为对称信道对称信道不是对称信道不是对称信道 每行的元素都取自同一集每行的元素都取自同一集合合Q={Q={1/6, 1/6,1/3 ,1/3} }每列的元素也都取自同一集每列的元素也都取自同一集合合P={1/6,1/3}P={1/6,1/3}对称信道对称信道 对称信道对称信道 2024/9/179n定理：定理：对于对称对于对称DMCDMC，有，有H(Y|X)= HH(Y|X)= Hmimin证明：证明：信道转移概率矩阵任意一信道转移概率矩阵任意一行的熵行的熵对称：则对称：则H H（（Y/XY/X））=H=Hmimi=H(1/2,1/3,1/6)=H(1/2,1/3,1/6)2024/9/1710n对称对称DMCDMC信道信道的容量公式：的容量公式：nC=I(X;Y)C=I(X;Y)maxmax =[H(Y)-H(Y|X)] =[H(Y)-H(Y|X)]maxmax =[H(Y)-H=[H(Y)-Hmimi] ]maxmax = =H(Y)H(Y)maxmax-H(q-H(q1 1,q,q2 2,…,q,…,qm m) ) 设设信源信源为单符号消息，为单符号消息，符号数为符号数为n n, ,等概分布，通过等概分布，通过一个一个对称对称的的DMCDMC信道，则信宿也等概分布（设信道，则信宿也等概分布（设符号数符号数为为m m））, , 此时信道容量为：此时信道容量为：对称对称DMCDMC信道信道的信道容量的信道容量2024/9/1711n证明：若证明：若信源等概信源等概分布时，若通过分布时，若通过对称对称信道，信道，则得到的则得到的信宿也等概信宿也等概分布：分布：2024/9/1712n例：求例：求P P1 1的信道容量。

的信道容量n解：对称解：对称DMC,DMC,所以所以2024/9/1713强对称离散信道的信道容量 n强对称离散信道强对称离散信道def:def:易看出，该信道是一个特殊的对称信道易看出，该信道是一个特殊的对称信道求该信道的信道容量 易知转移概率矩阵为：易知转移概率矩阵为：…2024/9/1714n解：因为是对称解：因为是对称DMCDMC信道，所以信道，所以若取若取n=2,n=2,则则 则均匀信道变成则均匀信道变成BSCBSC信道，则其容量为信道，则其容量为 2024/9/1715准对称DMC的信道容量 n准对称准对称DMCDMC（关于（关于行对称行对称或者关于列对称）或者关于列对称）n二元对称删除信道二元对称删除信道或或 分析信道转移矩阵分析信道转移矩阵p，， 两行两行三列三列，说明，说明信道有信道有两个输入消息两个输入消息(设为设为 )，，三三个输出消息个输出消息(设为设为 ) 2024/9/1716准对称DMC的信道容量 n例：已知例：已知 ，求此二元对称删除，求此二元对称删除 矩阵的信道容量矩阵的信道容量C C。

解解需求需求H(Y)H(Y)Y Y的概率分布的概率分布2024/9/1717说明说明准对称信道准对称信道达到容量（极值）时，达到容量（极值）时，信信源等概分布源等概分布2024/9/1718n令上题令上题 ，则，则 ，叫做二元纯删，叫做二元纯删 除信道，信道转移分布图为：除信道，信道转移分布图为： 说明：输入符号说明：输入符号都以都以εε1 1的错误概率传至收端，的错误概率传至收端，错判为符号错判为符号E E2024/9/1719准对称DMC信道容量的求解步骤n归纳求解准对称归纳求解准对称DMCDMC信道容量的步骤：信道容量的步骤：n1 1、将转移概率矩阵划分成若干个互不相交的子集、将转移概率矩阵划分成若干个互不相交的子集n2 2、令信源等概分布、令信源等概分布n3 3、、其中其中: :nn n为信源符号个数，即信道转移矩阵的为信源符号个数，即信道转移矩阵的行数行数nH Hmimi：转移概率矩阵：转移概率矩阵第第i i行的熵行的熵nN Nk k：：第第k k个个子矩阵子矩阵行元素之和行元素之和nM Mk k：第：第k k个子矩阵个子矩阵列元素之和列元素之和n注：注：若准对称信道是关于列对称，可以先进行转置，若准对称信道是关于列对称，可以先进行转置，使其变成关于行对称使其变成关于行对称2024/9/1720n例：求转移概率为图示例：求转移概率为图示P P的信道容量。

的信道容量n解：解： 由于由于P P是关于行对称的准对称矩阵，将是关于行对称的准对称矩阵，将P P分解：分解： ，则，则 =log2-H(1/2,1/4,1/8,1/8) - =log2-H(1/2,1/4,1/8,1/8) - [(1/2+1/4)log(1/2+1/4)+(1/8+1/8)log(1/8+1/8)] [(1/2+1/4)log(1/2+1/4)+(1/8+1/8)log(1/8+1/8)]符号符号矩阵的矩阵的行数行数矩阵任一行的矩阵任一行的元素熵元素熵2024/9/1721n例：求转移概率为图示例：求转移概率为图示P P的信道容量的信道容量n解：解： 由于由于P P是关于行对称的准对称矩阵，将是关于行对称的准对称矩阵，将P P分解：分解： ，则，则 =log2-H(1/3,1/3,1/6,1/6) - =log2-H(1/3,1/3,1/6,1/6) - [(1/3+1/6)log(1/3+1/6)+1/3log(1/3+1/3)+1/6log(1/6+1/6)] [(1/3+1/6)log(1/3+1/6)+1/3log(1/3+1/3)+1/6log(1/6+1/6)]符号符号矩阵的矩阵的行数行数矩阵任一行的矩阵任一行的元素熵元素熵2024/9/1722Thank You!2024/9/1723。