信息论与编码理论-第讲-信息量和熵.pptx

平均互信息量q自信息量自信息量熵熵q互信息量互信息量平均互信息量平均互信息量q定义定义- - 两个离散随机事件集合两个离散随机事件集合X和和Y，若其任意，若其任意两事件间的互信息量为两事件间的互信息量为I(xi；yj)，则其联合概率，则其联合概率加权的统计平均值，称为两集合的平均互信息加权的统计平均值，称为两集合的平均互信息量，用量，用I(X；Y)表示1) 平均互信息量的定义n平均互信息量定义：互信息量平均互信息量定义：互信息量I(xi;yj)在联合概率空间在联合概率空间P(XY)中的统计平均值中的统计平均值n称称I(X;Y)是是Y对对X的平均互信息量的平均互信息量（简称平均互信息（简称平均互信息/平均交互信平均交互信息量息量/交互熵）交互熵）nX对对Y的平均互信息定义为的平均互信息定义为n平均互信息的第三种定义平均互信息的第三种定义n平均互信息平均互信息I(X;Y)克服了克服了互信息量互信息量I(xi;yj)的随机性，成为的随机性，成为一个一个确定的量确定的量2) 平均互信息量的物理含义 观察者站在输出端观察者站在输出端 观察者站在输入端观察者站在输入端 观察者站在通信系统总体立场上观察者站在通信系统总体立场上 观察者站在输出端nH(X/Y) 信道疑义度信道疑义度/损失熵。

损失熵 Y关关于于X的后验不确定度的后验不确定度表示收到变量表示收到变量Y后，对随机变量后，对随机变量X仍然存在的不确仍然存在的不确定度代表了在信道中损失的信息代表了在信道中损失的信息nH(X) X的先验不确定度的先验不确定度/无条件熵无条件熵nI(X;Y)收到收到Y前、后关于前、后关于X的不确的不确定度减少的量定度减少的量从从Y获得的关于获得的关于X的的平均信息量平均信息量nI(X; Y) = H(X) H(X/Y) q平均互信息量为信源熵减掉一个条件熵平均互信息量为信源熵减掉一个条件熵q表明表明：以发送端（信源）的熵为参考，在接收端平均每收：以发送端（信源）的熵为参考，在接收端平均每收到一个符号所获得的信息量到一个符号所获得的信息量q信道上没有任何干扰或噪声：信道上没有任何干扰或噪声：I(X; Y) = H(X)；q信道存在干扰和噪声信道存在干扰和噪声n干扰和噪声干扰和噪声“污染污染”被传输的信息被传输的信息n到达接收端的平均信息量比信源熵少了一些到达接收端的平均信息量比信源熵少了一些n少掉的部分少掉的部分就是条件熵就是条件熵H(X/Y)n因此平均互信息量表征了因此平均互信息量表征了对接收的每一个符号的对接收的每一个符号的正确性所产生怀疑的程度正确性所产生怀疑的程度，故条件熵，故条件熵H(X/Y)又称又称之为疑义度。

之为疑义度 观察者站在输出端 观察者站在输入端nH(Y/X)噪声熵表示噪声熵表示发出随机变量发出随机变量X后，对随机变量后，对随机变量Y仍然存在的平均不确仍然存在的平均不确定度定度如果信道中不存在任何噪声，发如果信道中不存在任何噪声，发送端和接收端必存在确定的对应关系，送端和接收端必存在确定的对应关系，发出发出X后必能确定对应的后必能确定对应的Y，而现在不，而现在不能完全确定对应的能完全确定对应的Y，这显然是由信道，这显然是由信道噪声所引起的噪声所引起的nI(Y;X) 发出发出X前、后关于前、后关于Y的先验不确的先验不确定度减少的量定度减少的量 观察者站在输入端nI (Y; X) = H (Y) H (Y/X)q说明平均互信息量也可以用接收端（信宿）的熵为参考，说明平均互信息量也可以用接收端（信宿）的熵为参考，且等于信宿熵减掉一个条件熵且等于信宿熵减掉一个条件熵q同样表征接收端平均每收到一个符号所获得的信息量同样表征接收端平均每收到一个符号所获得的信息量q如果信道上没有任何干扰或噪声，则平均每收到一个符如果信道上没有任何干扰或噪声，则平均每收到一个符号所获得的信息量即是信宿熵，即号所获得的信息量即是信宿熵，即I (X; Y) = H (Y)；q但是，如果信道上存在着干扰或噪声，则平均每收到一但是，如果信道上存在着干扰或噪声，则平均每收到一个符号所获得的信息量，它比起信宿熵小了一个条件熵，个符号所获得的信息量，它比起信宿熵小了一个条件熵，这个这个条件熵条件熵H (Y/X)是由于信道的干扰或噪声给出的，因是由于信道的干扰或噪声给出的，因此它是唯一地确定信道噪声和干扰所需的平均信息量，此它是唯一地确定信道噪声和干扰所需的平均信息量，故称之为噪声熵故称之为噪声熵，也称为散布度（，也称为散布度（Degree of Diffusiveness）。

观察者站在通信系统总体立场上nH(XY)联合熵表示输入随机变量联合熵表示输入随机变量X，经信道传输到达信宿，输出随，经信道传输到达信宿，输出随机变量机变量Y即收、发双方通信后，整个系统仍然存在的不确定度即收、发双方通信后，整个系统仍然存在的不确定度nI(X;Y) 通信前、后整个系统不确定度减少量在通信前把通信前、后整个系统不确定度减少量在通信前把X和和Y看成看成两个相互独立的随机变量，整个系统的先验不确定度为两个相互独立的随机变量，整个系统的先验不确定度为X和和Y的联合熵的联合熵H(X)+H(Y)；通信后把信道两端出现；通信后把信道两端出现X和和Y看成是看成是由信道的传递统计特性由信道的传递统计特性联系起来的联系起来的、具有一定统计关联关系的两个随机变量，这时整个系统的、具有一定统计关联关系的两个随机变量，这时整个系统的后验不确定度由后验不确定度由H(XY)描述nI (X; Y) = H(X) + H(Y) H(XY)n根据各种熵的定义，从该式可以清楚看出平根据各种熵的定义，从该式可以清楚看出平均互信息量是一个均互信息量是一个表征信息流通的量表征信息流通的量，n其物理意义就是其物理意义就是信源端的信息通过信道后传信源端的信息通过信道后传输到信宿端的平均信息量输到信宿端的平均信息量。

观察者站在通信系统总体立场上结 论n以上三种不同的角度说明：从一个事件获得另一以上三种不同的角度说明：从一个事件获得另一个事件的平均互信息需要个事件的平均互信息需要消除不确定度消除不确定度，一旦消，一旦消除了不确定度，就获得了信息除了不确定度，就获得了信息I I (X; Y) =(X; Y) = H H (X) (X) HH(X(X/ /Y) Y) I I(Y; X) = (Y; X) = HH( (Y Y) ) HH(Y(Y/ /X) X) I I(X; Y) = (X; Y) = HH( (X X) +) + H H(Y) (Y) HH(XY)(XY)举 例n例例2.1.5 把已知信源把已知信源 接到图所示的信道上，求接到图所示的信道上，求在该信道上传输的平均互信息量在该信道上传输的平均互信息量I(X;Y)，疑义度，疑义度H(X/Y)，噪声熵，噪声熵H(Y/X)，联合熵，联合熵H(XY)解解：(1) 求联合概率求联合概率 p(xi yj)=p(xi)p(yj/xi) p(x1 y1)=p(x1)p(y1/x1 p(x1 y2)=p(x1)p(y2/x1 p(x2 y1)=p(x2)p(y1/x2 p(x2 y2)=p(x2)p(y2/x2 (2) 求求Y的各消息概率的各消息概率 (3) 求求X的各后验概率的各后验概率 (4) 求信源熵和联合熵求信源熵和联合熵(5) 平均互信息平均互信息I(X;Y)=H(X)+H(Y)-H(XY比特比特/符号符号(6) 疑义度疑义度(7) 噪声熵噪声熵(3) 平均互信息量的性质 对称性对称性 非负性非负性 极值性极值性 凸函数性凸函数性 数据处理定理数据处理定理 对称性I(X;Y)= I(Y;X)n证明：证明：根据互信息量的对称性根据互信息量的对称性I(xi;yj)= I(yj;xi)n结论：结论：由由Y提取到的关于提取到的关于X的信息量与从的信息量与从X中提取到的关于中提取到的关于Y的信息量是一样的。

的信息量是一样的I(X;Y)和和 I(Y;X)只是观察者的立足点只是观察者的立足点不同 非负性I(X;Y)0自然对数性质：自然对数性质：lnxx-1，x0，当且仅当，当且仅当x=1时取等号时取等号 即即 I(X;Y)0当且仅当当且仅当X和和Y相互独立，即相互独立，即p(xiyj)= p(xi) p(yj)I(X;Y)=0式中式中结论：结论：n平均互信息量不是从两个具体消息出发，而是从随机变量平均互信息量不是从两个具体消息出发，而是从随机变量X和和Y的整体角度出发，并在平均意义上观察问题，所以的整体角度出发，并在平均意义上观察问题，所以平均互信息量不会出现负值n或者说从一个事件提取关于另一个事件的信息，最坏的情或者说从一个事件提取关于另一个事件的信息，最坏的情况是况是0，不会由于知道了一个事件，反而使另一个事件的，不会由于知道了一个事件，反而使另一个事件的不确定度增加不确定度增加 极值性I(X;Y)H(X) I(Y;X)H(Y)证明：由于证明：由于 I(X;Y)=H(X)- H(X/Y)0， I(Y;X)=H(Y)- H(Y/X)0, H(Y/X)0， H(X/Y)0, 所以所以 I(X;Y)H(X)，I(Y;X)H(Y)n从一个事件提取关于另一个事件的信息量，至多是另一个事从一个事件提取关于另一个事件的信息量，至多是另一个事件的熵那么多，不会超过另一个事件自身所含的信息量。

件的熵那么多，不会超过另一个事件自身所含的信息量n当当X和和Y是一一对应关系时：是一一对应关系时：I(X;Y)=H(X)，这时，这时H(X/Y)=0从一个事件可以充分获得关于另一个事件的信息，从平均意从一个事件可以充分获得关于另一个事件的信息，从平均意义上来说，代表义上来说，代表信源的信息量可全部通过信道信源的信息量可全部通过信道n当当X和和Y相互独立时：相互独立时：H(X/Y) =H(X)， I(Y;X)=0从一个事件从一个事件不能得到另一个事件的任何信息，这等效于不能得到另一个事件的任何信息，这等效于信道中断信道中断的情况 凸函数性n平均互信息量的数学特性平均互信息量的数学特性n平均互信息量平均互信息量I(X;Y)是输入信源概率分布是输入信源概率分布p(xi)的上凸函数的上凸函数n平均互信息量平均互信息量I(X;Y)是输入转移概率分布是输入转移概率分布p(yj /xi)的下凸函数的下凸函数n 平均互信息量的数学特性平均互信息量是平均互信息量是p(xi)和和p(yj /xi)的函数，的函数， 即即I(X;Y)=f p(xi), p(yj /xi)；若固定信道，调整信源，若固定信道，调整信源， 则平均互信息量则平均互信息量I(X;Y)是是p(xi)的函数，即的函数，即I(X;Y)=f p(xi)；若固定信源，调整信道，若固定信源，调整信道， 则平均互信息量则平均互信息量I(X;Y)是是p(yj /xi)的函数，即的函数，即I(X;Y)=f p (yj /xi)。

n I(X;Y)是 p(xi)的上凸函数上凸函数：上凸函数：同一信源集合同一信源集合x1,x2,xn，对应两个不同的概率，对应两个不同的概率分布分布p1(xi)和和p2(xi)(i=1,2, ,n)，若有小于，若有小于1的正数的正数01，使，使不等式不等式 fp1(xi)+(1-)p2(xi)fp1(xi)+(1-)fp2(xi) 成立，则称函数成立，则称函数f为为p(xi)的上凸函数如果式中仅有大于号的上凸函数如果式中仅有大于号成立，则称成立，则称f为严格的上凸函数为严格的上凸函数举 例例例2.1.6 设二进制对称信道设二进制对称信道的输入概率空间为的输入概率空间为 转移概率如图所示转移概率如图所示由信道决定的条件熵由信道决定的条件熵结论结论1：当当q不变不变/固定信道特性固定信道特性时，可得时，可得I(X;Y)随输入概率分布随输入概率分布p变变化的曲线，如图所示；化的曲线，如图所示；二进制对。