信息论-基础理论与应用第三版(傅祖芸)-第三章PPT课件.ppt

第三章 离散信道及其信道容量 第一节 信道的数学模型及分类第二节 平均互信息第三节 平均互信息的特性第四节 信道容量及其计算方法 第五节 离散无记忆扩展信道及其信道容量第六节 信源与信道的匹配2021/8/311u信道的任务： 以信号方式传输信息和存储信息u研究内容： 信道中能够传送或存储的最大信息量，即信道容量2021/8/3123.1 信道的数学模型和分类 数字通信系统的一般模型2021/8/313一、信道的分类 根据载荷消息的媒体不同邮递信道邮递信道电、磁信道电、磁信道光信道光信道声信道声信道根据信道用户的多少单用户（两端）信道单用户（两端）信道 一个输入端和一个输出端的单向通信；多用户信道多用户信道 至少有一端有两个以上的用户，可以是双向通信；（计算机通信、卫星通信、广播通信等）2021/8/314根据输入端和输出端的关联无反馈信道无反馈信道有反馈信道有反馈信道信道参数与时间的关系固定参数信道时变参数信道2021/8/315根据输入输出信号的特点 离散信道（离散随机序列-离散随机序列） 连续信道（连续值随机序列-连续值随机序列） 半离散半连续信道（离散随机序列-连续值随机序列） 波形信道（模拟信道）（时间、取值连续随机信号-时间、取值连续随机信号）我们只研究： 无反馈、固定参数的单用户离散信道。

2021/8/316信道分析的方法 信源输出的是携带者信息的消息，而消息必须首先转换成能在信道中传输或存储的信号，然后经过信道传送到接收者 一般认为，噪声或干扰主要从信道中引入，它使信号通过信道传输后产生错误和失真 因此，信道的输入和输出信号之间一般不是确定的函数关系，而是统计依赖关系只要知道信道的输入信号、输出信号，以及它们之间的统计依赖关系，那么信道的全部特性就确定了2021/8/317二、离散信道的数学模型 条件概率 P(y|x) 描述了输入信号和输出信号之间统计依赖关系，反映了信道的统计特性根据信道的统计特性的不同，离散信道又可分成3种情况：1.无干扰信道 2.有干扰无记忆信道 3.有干扰有记忆信道2021/8/318 (1)无干扰(无噪声)信道 信道中没有随机性的干扰或者干扰很小，输出符号 y 与输入符号 x 之间有确定的、一 一对应的关系即：y f (x)2021/8/319(2) 有干扰无记忆信道 信道输入和输出之间的条件概率是一般的概率分布 如果任一时刻输出符号只统计依赖于对应时刻的输入符号，则这种信道称为无记忆信道2021/8/3110n (3) 有干扰(噪声)有记忆信道n 实际信道往往是既有干扰(噪声)又有记忆的这种类型。

n 例如在数字信道中，由于信道滤波频率特性不理想时造成了码字间串扰n 在这一类信道中某一瞬间的输出符号不但与对应时刻的输入符号有关，而且还与此以前其他时刻信道的输入符号及输出符号有关，这样的信道称为有记忆信道三、单符号离散信道单符号离散信道特性：输入符号为X，取值于a1,a2, ,ar输出符号为Y，取值于b1,b2, ,bs条件概率：P(y|x)P(y=bj|x=ai)P(bj|ai) 这一组条件概率称为信道的传递概率或转移概率 信道中有干扰(噪声)存在，可以用传递概率 P(bj|ai) 来描述干扰影响的大小2021/8/3112 一般简单的单符号离散信道可用 X, P(y|x) , Y 三者加以表述，其数学模型可以用如下概率空间 X, P(y|x) ,Y也可用图形来描述： a1 b1 a2 b2 X . . Y . .ar bsP(bj/ai)单符号离散信道2021/8/3113信道矩阵（转移矩阵）模型 一般离散单符号信道的传递概率可用矩阵形式表示，即 矩阵P完全描述了信道的特性，可用它作为离散单符号信道的另一种数学模型的形式矩阵 P中元素有些是信道干扰引起的错误概率，有些是信道正确传输的概率。

b1 b2 bsa1 P(b1|a1) P(b2|a1) P(bs|a1)a2 P(b1|a2) P(b2|a2) P(bs|a2) . ar P(b1|ar) P(b2|ar) P(bs|ar)2021/8/3114例 二元对称信道，BSC，Binary Symmetrical Channel解：此时，X:0,1 ; Y:0,1 ; r=s=2，a1=b1=0；a2=b2=1传递概率: p是单个符号传输发生错误的概率1-p）表示是无错误传输的概率 转移矩阵: 0 1011p a1=0 0=b11p a2=1 1=b2pp2021/8/3115符号“2”表示接收到了“0”、“1”以外的特殊符号 0 2 101p0 01p1 1q1q2例二元删除信道BEC，Binary Eliminated Channel解：X:0，1 Y:0，1，2此时，r 2，s 3，传递矩阵为：2021/8/3116（1）联合概率其中前向概率，描述信道的噪声特性后向概率（后验概率） 输入符号的先验概率单符号离散信道的相关概率关系（2）输出某符号的概率2021/8/3117含义： 输出端收到的某符号，必是输入端某一符号输入所致。

3）后验概率且根据贝叶斯定理，可知：2021/8/31183.2 信道疑义度与平均互信息研究离散单符号信道的信息传输问题一、信道疑义度先验熵：即信道输入信源X的熵 H(X)是在接收到输出Y以前，关于输入变量X的先验不确定性 2021/8/3119后验熵： 接收到bj后，关于输入变量X的不确定性 后验熵是当信道接收端接收到输出符号bj后，关于输入符号的不确定性的信息测度2021/8/3120信道疑义度： 后验熵在输出符号集Y范围内是随机量对后验熵在符号集Y中求数学期望，即-信道疑义度：2021/8/3121互信息量 I(x ; y)： 收到消息y 后获得关于x的信息量，即消除的不确定性量 互信息量表示先验的不确定性减去尚存的不确定性，是互信息量表示先验的不确定性减去尚存的不确定性，是收信者获得的信息量收信者获得的信息量 若互信息若互信息I( I(x x ; ; y y)0)0，说明在收到信息量，说明在收到信息量y y以前对消息以前对消息x x是是否出现的不确定性较小；但由于信道噪声的存在，反而使得否出现的不确定性较小；但由于信道噪声的存在，反而使得接收到消息接收到消息y y后，反而对后，反而对x x是否出现的不确定程度增加了。

是否出现的不确定程度增加了二、平均互信息2021/8/3122u平均互信息I(X; Y)： 接收到符号 Y 后, 平均每个符号获得的关于 X 的信息量，体现输入与输出两个随机变量间的统计约束程度2021/8/3123另一角度：平均互信息=通信过程所消除的不确定性： I(X;Y) I(X;Y)是是I (I (x x ; ; y y) )的的统计平均统计平均，可以证明，可以证明I(X;Y)0I(X;Y)0 若若I(X;Y) I(X;Y) = 0= 0，表示，表示在在信道信道输出端接收到符号后不获得任何关于输出端接收到符号后不获得任何关于输输入符号入符号的信息2021/8/3124 I(X;Y) I(X;Y) I(X;Y) = H(X) - H(X|Y) I(X;Y) = H(X) - H(X|Y) I(X;Y) = H(Y) - H(Y|X) I(X;Y) = H(Y) - H(Y|X) I(X;Y) = H(X) + H(Y) - H(XY) I(X;Y) = H(X) + H(Y) - H(XY)其中：其中：平均互信息与各类熵的关系2021/8/3125uu维拉图：维拉图： 可用于各类熵与平均互信息之间关系可用于各类熵与平均互信息之间关系 H(X|Y) = H(X) - I(X;Y) H(X|Y) = H(X) - I(X;Y) 损失熵损失熵 / / 信道疑义度信道疑义度 H(Y|X) = H(Y) - I(X;Y) H(Y|X) = H(Y) - I(X;Y) 噪声熵噪声熵 / / 散布度散布度 H(XY) = H(X)+H(Y)- I(X;Y) H(XY) = H(X)+H(Y)- I(X;Y) H(X)图中，左边的圆代表随机图中，左边的圆代表随机变量变量X X的熵，右边的圆代的熵，右边的圆代表随机变量表随机变量Y Y的熵，两个的熵，两个圆重叠部分是平均互信息圆重叠部分是平均互信息I(XI(X; ;Y)Y)。

每个圆减去每个圆减去I(XI(X; ;Y)Y)后剩余的部分代表两个疑后剩余的部分代表两个疑义度H(Y)H(X|Y)H(Y|X)H(XY)I(X;Y)2021/8/3126n 两种特殊信道分析（1 1）离散无干扰信道）离散无干扰信道 ( ( 无损信道无损信道 ) ) 信道的输入和输出一一对应，信息无损失传输信道的输入和输出一一对应，信息无损失传输信道传递概率信道传递概率对应某对应某y y，只有一个，只有一个p(x|y)!=0p(x|y)!=02021/8/3127则平均互信息则平均互信息=H(X)=H(Y)=H(X)=H(Y)损失熵损失熵( (信道疑义度信道疑义度)=0)=0噪声熵（散布度）噪声熵（散布度）=0=0I(X;Y) = H(X) - H(X|Y)= H(Y) - H(Y|X)=I(X;Y) = H(X) - H(X|Y)= H(Y) - H(Y|X)= H(X)H(X)P(x|y)!=0,P(x|y)!=0,其它取值时为其它取值时为0 02021/8/3128无损信道特性无损信道特性 在在无损信道无损信道中，输入符号和输出符号之间一一对应中，输入符号和输出符号之间一一对应，所以接收到，所以接收到Y Y后不存在对于输入后不存在对于输入X X的任何不确定性，的任何不确定性，即即信道疑义度（损失熵）信道疑义度（损失熵）等于零。

等于零 同时，因为输入和输出符号之间一一对应，所以同时，因为输入和输出符号之间一一对应，所以噪噪声熵声熵等于零这时，接收到的等于零这时，接收到的平均互信息量平均互信息量就是输入信就是输入信源所提供的信息量源所提供的信息量维拉图：维拉图：I(X;Y)=H(X)=H(Y)H(X|Y)=H(Y|X)=0 H(X|Y)=H(Y|X)=0 I(X;Y)=H(X)=H(Y)I(X;Y)=H(X)=H(Y)各集合完全重迭各集合完全重迭无损信道：无损信道：2021/8/3129（2 2）输入输出独立信道）输入输出独立信道 ( ( 全损信道全损信道 ) ) 信道输入和输出没有依赖关系，信息无法传输，称为信道输入和输出没有依赖关系，信息无法传输，称为全损信全损信道道损失熵损失熵( (信道疑义度信道疑义度)=H(X)=H(X)：噪声熵（散布度）噪声熵（散布度）=H(Y)=H(Y)：2021/8/3130 因此在因此在全损信道全损信道中，接收到中，接收到Y Y后不可能消除有关输入端后不可能消除有关输入端X X的的任何不确定性，所以获得的信息量等于零任何不确定性，所以获得的信息量等于零 同样，也不能从同样，也不能从X X中获得任何关于中获得任何关于Y Y的信息量。

的信息量 平均互信息平均互信息I(X;Y)I(X;Y)等于零，表明了等于零，表明了信道两端随机变量的统信道两端随机变量的统计约束程度等于零计约束程度等于零平均互信息平均互信息=0=0： H(X|Y) = H(X) H(X|Y) = H(X) H(Y|X) = H(Y) H(Y|X) = H(Y) I(X;Y) = 0 I(X;Y) = 0各集合完全独立各集合完全独立全损信道：全损信道：H(Y)=H(Y|X)H(X)=H(X|Y)2021/8/31313.3 平均互信息的性质（1）非负性 I(X;Y) 0, 当X、Y统计独立时等式成立证明：设 ，即： I(X;Y) 0当所有p(xy)=p(x)p(y)，等号成立则必满足詹森不等式因而有如下关系2021/8/3132（2）极值性 即 I(X;Y) minH(X)，H(Y) 当 H(X|Y)=0 时，即信道信息无损时，等式成立证明证明：。