《平均互信息量》PPT课件.ppt

定义定义1：：一、平均互信息量的定义一、平均互信息量的定义平均互信息量平均互信息量或交互熵或交互熵Y对对X的的X对Y的平均互信息：信道中流通信息量的整体测度信道中流通信息量的整体测度定义定义2：：变形变形1：：二、平均互信息的物理意义二、平均互信息的物理意义物理意义：物理意义：平均互信息量是收到平均互信息量是收到Y Y前、后关前、后关于于X X的不确定度减少的量，即由的不确定度减少的量，即由Y Y获得的关于获得的关于X X的平均信息量的平均信息量1信道疑义度信道疑义度或损失熵或损失熵 物理意义：物理意义：平均互信息量是发送平均互信息量是发送X X前、前、后，关于后，关于Y Y的平均不确定度减少的量的平均不确定度减少的量2噪声熵噪声熵3 物理意义：物理意义：平均互信息量等于通信前、平均互信息量等于通信前、后，整个系统不确定度减少的量后，整个系统不确定度减少的量¨I(X;Y)= H（（X））-H（（X︱︱Y）） ¨I(X;Y)= H（（Y））-H（（Y︱︱X）） ¨I(X;Y)= H(X)+ H(Y)- H(XY )¨ ¨ ¨总结：总结：二、平均互信息的性质二、平均互信息的性质对称性对称性1非负性非负性2互信息量互信息量 可能为负值。

可能为负值但是平均互信息量不会为负值但是平均互信息量不会为负值极值性极值性132凸函数性凸函数性412例例1二元信源X接入对称信道求平均互信息I(X；Y)001100110011I(X;Y)= H（（Y））-H（（Y︱︱X））当当q q不变，即固定信道特性不变，即固定信道特性pI(X,Y)0.5当当p=0.5p=0.5 ，， I(X,Y) 最大最大001100110.50.50.50.5001111001111当当p p不变，即固定信源不变，即固定信源当当q=0.5q=0.5 ，， I(X,Y) =0当当q=0或或1 ，， I(X,Y) 最大最大qI(X,Y)0.510¨I(X;Y)= H（（X））-H（（X︱︱Y）） ¨ H（（X︱︱Y) = H（（X））- I(X;Y) ¨I(X;Y)= H（（Y））-H（（Y︱︱X）） ¨ H（（Y︱︱X) = H（（Y））- I(X;Y)¨I(X;Y)= H(X)+ H(Y)- H(XY )¨ ¨ H（（XY））= H（（X））+ H（（Y））-I(X;Y））例例信源X接入图示信道求在该信道上传输的平均互信息量，信道疑义度，噪声熵0.980. 80. 20. 021234567【作业】【作业】 二元等概信源二元等概信源 通通过过信信道道转转移移概概率率为为 的的信信道道传输，传输， 信信宿宿接接收收符符号号Y = {y0, y1}，，计计算算信信源源与与信信宿宿间间的的平均互信息量平均互信息量I（（X；；Y），信道疑义度，噪声熵），信道疑义度，噪声熵X YX YX YX YX YH（（Y））= I(X;Y)+ H（（Y︱︱X））H（（X））= I(X;Y)+ H（（X︱︱Y））¨I(X;Y)= H（（X））-H（（X︱︱Y）） H（（X））= I(X;Y)+ H（（X︱︱Y））¨I(X;Y)= H（（Y））-H（（Y︱︱X）） H（（Y））= I(X;Y)+ H（（Y︱︱X））¨I(X;Y)= H(X)+ H(Y)- H(XY )¨ H（（XY））= H（（X））+ H（（Y））-I(X;Y））。