第3章 离散信道和信道容量题目.doc

第3 章 离散信道和信道容量、例题：【例3・1】 二元对称信道，简记为BSC (Binary Symmetric Channel)如图3.1所示Y0 二 b1图 3.1 二元对称信道这是很重要的一种特殊信道，其输入输出符号集均取值于｛0,1｝此时r二S二2，而且a二b二0, a二b = 1又有转移概率1 1 2 2P(b | a )二 P(010)二 1 - p 二 p11P(b | a )二 P(1I1)二 1 - p 二 p22P(b | a )二 P(0I1)二 p12P(b | a )二 P(1I0)二 p21于是，可得BSC的信道转移概率矩阵P为p1- p它满足工P(b | a )=》P(b | a ) = 1j 1 j 2j=1 j=1【例3.2】 二元删除信道，简记为BEC (Binary Erasure Channel )这时r = 2, s = 3输入符号X取值于｛0,1｝，输出符号Y取值于｛0,2,1｝其信道转移矩阵为021p = 0_ p 1 - p 0"1 0 1 - q q例 3.3】设二元对称信道的输入概率空间p(x)0 1，而信道特性如3 3 = 1 — 3图 3.1 所示，求平均互信息。

解：根据平均互信息的定义可得I(X;Y)=H(Y)—H(Y|X)=H(Y)—工艺 p(a.b)logi j P(b | a )i =1 j =1 j i=H(Y)—工 P(x)工 P(y I x)log --P(y I x)XY=H(Y) 一工 P(x) p log — + p log11 r 「X=H (Y) — p log — + p log]_ p p= H(Y)—H(p)其中， H(p) 是［0,1］区间上的熵函数可得P( y = 0) = 3 p + (1—3) p = 3 p + 3 pP( y = 1) = 3 p + (1—3) p = 3 p + 3 p所以— ^― — H ( p)3 p +3 pI(X;Y)=H(Y)—H(p)=(3 p +3 p)log + (3 p + 3 p )log3 p +3 p=H (3 p + 3 p) — H (p)其中H(3p +3p)也是［0,1］区间上的熵函数可见，当信道固定即固定p时，可得I(X;Y)是3的 型凸函数，其曲线如图3.2所示从图中可知，当二元对称信道的信道矩阵固定后输入变量X的概率分布不同，在接收端平均每个符号获得的信息量就不同。

只有当输入变量X是等概分布时，即P(x = 0) = P(x = 1) = 1/2时，在信道接收端平均每个符号才获得最大的信息量图3.2二元对称信道的平均互信息（固定信道转移概率p ）从图中可知，当二元信源固定后，存在一种二元对称信道（其P = 1/2 ）,使信道输出获得的信息量最小，即等于零也就是说，信源的信息全部损失在信道中这是一种最差的信道（其噪声为最大）例 3.4】设某对称离散信道的信道矩阵为-1111P=33661111_ 6633求其信道容量解：由对称信道的信道容量公式，得C = log s - H （P的行矢量）=log 4 - H （丄丄丄丄）=2 + -log1 + -log- + ^log1 + ^log13 3 6 6 3 3 3 3 6 6 6 6= 0.08-7 比特/ 符号 在这个信道中，每个符号平均能够传输的最大信息为 0.0817 比特，而且只有当信道输入是 等概分布时才能达到这个最大值例 3.5】强对称信道（均匀信道）的信道矩阵是r x r阶矩阵，强对称离散信道的信道容量为C = log r - H f宀，巴，…宀］V r — 1 r — 1 r — 1 丿_ _ p p p p=log r + p log p + log + …+ log —r —1 r —1 r —1 r —1 V '共(r-1)项=log r + p log p + p log —^―r —1= log r — p log(r —1)— H ( p)式中p是总的错误传递概率，p是正确传递概率。

例 3.6】 设某信道的转移矩阵为：P=卩-p-q q pp q 1—p ― q求其信道容量解：分析该转移矩阵，可知这是一个准对称信道N = 1 — p — q + p = 1 — q,1M = 1 — p — q + p = 1 — q,1N =q2M = 2 q2根据准对称离散信道的信道容量公式得C = logr — H(p ,p，•…,p )—工N logM1 2 s k kk=1=log2 - H (1— p - q, q, p) N logMkkk =1=log2—H(1— p—q,q,p)—(1—q)log(1—q)—qlog2q=p log p + (1— p — q)log(1 — p — q) + (1— q)log当 p = 0 时，可得信道转移矩阵为q0 q 1-q这时可得该信道（二元纯对称删除信道）的信道容量为C = P log p + (1- p — q)log(l — p — q) + (1-q)log1-q=1—q比特/符号Yp二元无记忆对称信道的转移概率图例 3.7】 求图 3.5 所示的二元无记忆对称信道的二次扩展信道图 3.5因为二元对称信道的输入和输出变量X和Y的取值都是0和1,因此，二次扩展信道的输入符号集为X二｛00,01,10,11｝，共有22二4个符号。

输出符号集为Y二｛00,01,10,11｝，也共4个符号根据无记忆信道的特性，求得二次扩展信道的转移概率为pq 气)=P(00|00) = P(0|0)P(0|0) = p2p(卩2 叫)=P(01|00) = P(0|0)P(1|0) = ppp(卩3 匕)=P(10|00) = P(1|0)P(010) = ppp(卩4 气)=P(11|00) = P(1|0)P(1|0) = p2同理，可求得其他传递概率p(卩口)，最后得二次扩展信道的信道矩阵 h kP1P22P33P44a1p 2ppppp2aP = 2ppp 2p2ppa3ppp2p 2ppa4p 2ppppp 2上述二次扩展信道可用图3.6 表示a = 001a = 012a = 103a = 11p 2卩二001卩=012卩二103卩二114图 3.6 二元对称信道的二次扩展信道此例告诉我们，离散无记忆信道的信道矩阵以及扩展的次数N是构建离散无记忆信道 的 N 次扩展信道的数学模型的基本要素例 3.8】 有二个信道的信道矩阵分别为1312131223131323，它们的串联信道如图3.7所示求证I(X；Z)二I(X; Y)X12图 3.7例 3.9 中的串联信道证明：对于一般满足X、Y、Z为马氏链的串联信道，它们总的信道矩阵应等于两个串联信道矩阵的乘积。

即P( z|x) = P( y|x) - P( z|y)而总的信道矩阵中每个元素应满足P(c |a ) = Y P(b |a )P(c b )为此，我们可求出串联信道的总的信道矩阵P( z |x)=13121312可见，该串联信道满足P( y|x) = P( z|x)(对所有X, y, z )于是可得此例说明，不论输入信源 X 的符号如何分布，该串联噪声信道不会使信道中信息损失增加例 3.9】 设有两个离散二元对称信道，其组成的串联信道如图3.8 所示，求该串联信道的信道容量X■二元对称Y.二元对称■信道信道图 3.8 例 3.10 二元对称信道的串联信道解：两个二元对称信道的信道矩阵均为P 二 P 二12p1-pp1-p由于X、Y、Z组成马尔可夫链，则串联信道的总信道矩阵为P = PP =121-p p II 1 - pP 1 -p II p(1- p)2 + p2 2p(1- p)2p(1- p) (1- p)2 + p2因此，该串联信道仍然是一个二元对称信道C 串=1 - H [2 p(1- p)]二、讨论题：1、什么是先验概率和后验概率？2、什么是前向概率和后向概率？3、已知联合概率，如何计算前向概率和后向概率？三、思考题：1、 信道有哪些分类？2、 信道矩阵是如何构成的？有哪些性质？3、 平均互信息与各类熵有什么关系？4、 平均互信息有哪些性质？5、 信道容量的物理意义是什么？6、 如何计算一般离散信道的信道容量？7、 离散无记忆扩展信道的信道容量如何计算？8、 数据处理定理的含义是什么？9、 “信源与信道的匹配”和“信源编码和信道编码”之间是否存在一定的联系？。