信息论与编码课件第二章.ppt

第二章第二章 信源和信息熵信源和信息熵n 离散信离散信源源的信息熵的信息熵n 连续信源的信息熵连续信源的信息熵n 信源分类和描述信源分类和描述第二章第二章 作业作业教材第教材第5959页页~ ~6262页页2.12.1，，2.22.2，，2.3(1)(2)2.3(1)(2)，，2.42.4，，2.82.8，，2.132.13，，2.142.14，， 2.162.16信源分类和描述信源分类和描述信源分类和描述信源分类和描述=离散信源离散信源连续信源连续信源=信源分类和描述信源分类和描述单符号信源单符号信源 X符号序列信源符号序列信源 XN （（N次扩展信源）次扩展信源）信源分类和描述信源分类和描述无记忆信源无记忆信源有记忆信源有记忆信源信息的特性信息的特性n n事件（消息）的信息量大小与其不确定事件（消息）的信息量大小与其不确定度（概率）有关度（概率）有关n n事件概率越小，信息量越大事件概率越小，信息量越大n n确定性事件的信息量为零，不可能事件确定性事件的信息量为零，不可能事件的信息量为无穷大的信息量为无穷大n n信息量具有可加性信息量具有可加性离散信源符号的信息量离散信源符号的信息量信息量定义信息量定义 信息量单位信息量单位 •对数的底对数的底a = 2= 2时，信息量单位为时，信息量单位为比特比特( bit( bit））•对数的底对数的底a = e= e时，信息量单位为时，信息量单位为奈特奈特( ( natnat））•对数的底对数的底a = 3= 3时，信息量单位为时，信息量单位为铁特铁特( ( TetTet））•对数的底对数的底a = 10= 10时，信息量单位为时，信息量单位为哈特哈特( Hart( Hart）） - -离散信源符号的信息量离散信源符号的信息量P(x)P(x)I(X)=logI(X)=log2 2(p)(p)离散信源的信息熵离散信源的信息熵(Entropy)信息熵定义信息熵定义( (信息量的信息量的统计平均统计平均或者说或者说数学期望数学期望) )信息熵单位信息熵单位 •对数的底对数的底a = 2= 2时，信息熵单位为时，信息熵单位为比特比特/ /符号符号( bit/( bit/符号）符号）•对数的底对数的底a = e= e时，信息熵单位为时，信息熵单位为奈特奈特/ /符号符号( ( natnat/ /符号）符号）•对数的底对数的底a = 3= 3时，信息熵单位为时，信息熵单位为铁特铁特/ /符号符号( ( TetTet/ /符号）符号）•对数的底对数的底a = 10= 10时，信息熵单位为时，信息熵单位为哈特哈特/ /符号符号( Hart/( Hart/符号）符号） H(X) = = –离散二元信源的信息熵离散二元信源的信息熵离散信源信息熵的含义离散信源信息熵的含义n nH(X)表示信源的平均不确定度表示信源的平均不确定度——平均平均信息量信息量n nH(X)表示信源的随机性表示信源的随机性 n nH(X)表示信源输出每个符号所提供的平表示信源输出每个符号所提供的平均信息量均信息量n nH(X)表示信宿所能获得的最大信息量表示信宿所能获得的最大信息量 条件自信息量与条件熵条件自信息量与条件熵条件自信息量定义条件自信息量定义条件熵定义条件熵定义( (条件自信息量的条件自信息量的统计平均统计平均) )I ( x|y ) = log= - - - - log p(x|y) === = 联合自信息量与联合熵联合自信息量与联合熵联合自信息量定义联合自信息量定义联合熵定义联合熵定义( (联合自信息量的联合自信息量的统计平均统计平均) )I ( xy ) = log= - - - - log p(xy) ===自信息量、条件信息量、联合信息量自信息量、条件信息量、联合信息量三者之间的关系三者之间的关系当事件当事件x 和事件和事件y 相互独立时有相互独立时有信息熵、条件熵、联合熵信息熵、条件熵、联合熵三者之间的关系三者之间的关系当集合当集合X 和集合和集合Y 相互独立时有相互独立时有例例例例题题题题 有有有有两两两两个个个个二二二二元元元元随随随随机机机机变变变变量量量量X X X X和和和和Y Y Y Y，，，，它它它它们们们们的的的的联联联联合合合合概概概概率率率率为为为为并定义另一随机变量并定义另一随机变量并定义另一随机变量并定义另一随机变量Z Z Z Z= = = =X X X X· ·Y Y Y Y（一般乘积（一般乘积（一般乘积（一般乘积) ) ) )，试计算：，试计算：，试计算：，试计算：(1)(1)(1)(1) 熵熵熵熵 H(X)H(X)H(X)H(X)、、、、H(Y)H(Y)H(Y)H(Y)、、、、H(Z)H(Z)H(Z)H(Z)、、、、H(X, Z)H(X, Z)H(X, Z)H(X, Z)、、、、 H(Y, Z) H(Y, Z) H(Y, Z) H(Y, Z) 、、、、 H(X, Y, Z)H(X, Y, Z)H(X, Y, Z)H(X, Y, Z)(2)(2)(2)(2) 条件熵条件熵条件熵条件熵 H(X|Y)H(X|Y)H(X|Y)H(X|Y)、、、、H(X|Z)H(X|Z)H(X|Z)H(X|Z)、、、、H(Z|X)H(Z|X)H(Z|X)H(Z|X)、、、、H(Z|Y)H(Z|Y)H(Z|Y)H(Z|Y)、、、、 H(Y|Z)H(Y|Z)H(Y|Z)H(Y|Z)、、、、H(Y|XZ)H(Y|XZ)H(Y|XZ)H(Y|XZ)、、、、H(Z|XY)H(Z|XY)H(Z|XY)H(Z|XY)(3)(3)(3)(3) 互信息互信息互信息互信息 I(X;Y), I(X;Z), I(Y;Z); I(X;Y|Z), I(X;Y), I(X;Z), I(Y;Z); I(X;Y|Z), I(X;Y), I(X;Z), I(Y;Z); I(X;Y|Z), I(X;Y), I(X;Z), I(Y;Z); I(X;Y|Z), I(Y;Z|X) I(Y;Z|X) I(Y;Z|X) I(Y;Z|X)和和和和I(X;Z|Y)I(X;Z|Y)I(X;Z|Y)I(X;Z|Y)p p( (xyxy) )x x = 0= 0x x = 1= 1y y = 0= 01/81/83/83/8y y = 1= 13/83/81/81/8解：(1)根据 和 的联合概率分布，分别求得 X 、Y 和 Z 的边沿概率分布如下： 0 1 0 1 0 1 ½ ½ ½ ½ 7/8 1/8  和和 以及以及 和和 的联合概率分布函数分别的联合概率分布函数分别为：为： 0 1 0 1 0 1 0 1 0 1/2 0 0 1/2 0 0 1/2 0 0 1/2 0 1 3/8 1/8 1 3/8 1/8 1 3/8 1/8 1 3/8 1/8 、、 和和 的联合分布函数为的联合分布函数为 n n根据上述概率分布函数，分别求得：根据上述概率分布函数，分别求得： (2)(2)根据根据(1)(1)得到的联合概率分布和边沿概率分布得到的联合概率分布和边沿概率分布函数，求得如下条件概率分布函数，求得如下条件概率分布 0 1 0 10 1 0 1 0 1/4 3/4 0 4/7 0 0 1/4 3/4 0 4/7 0 1 3/4 1/4 1 3/7 1 1 3/4 1/4 1 3/7 1 0 1 0 1 0 1 0 0 1 0 1 3/4 1/4 1 3/4 1/4 又因为又因为因此因此所以所以n n(3)(3)熵函数熵函数 H( (p) ) 的性质的性质信息熵信息熵 H( (X) ) 的函数表达的函数表达——H( (p) ) (1)(1)对称性对称性(2)(2)非负性非负性( (离散信源离散信源) )(3)(3)扩展性扩展性熵函数熵函数 H( (p) ) 的性质的性质(4)(4)确定性确定性(5)(5)可加性可加性(6)(6)极值性极值性熵函数熵函数 H( (p) ) 的性质的性质熵函数熵函数 H( (p) ) 的性质的性质(7)(7)上凸性上凸性小结：小结：信息熵信息熵 —— 信息论中的最基础的基本概念信息论中的最基础的基本概念 —— 对随机变量不确定性的最好的度量对随机变量不确定性的最好的度量 —— 用来描述信源的信息特性用来描述信源的信息特性互信息量的提出与定义互信息量的提出与定义互信息量提出互信息量提出互信息量定义互信息量定义互互信息量信息量 = =（（收到消息之前收到消息之前关于某事件的不确定度）关于某事件的不确定度） - -（（收到消息之后收到消息之后关于该事件的不确定度）关于该事件的不确定度） = = 消息消息不确定度的减小量不确定度的减小量 设某班学生在一次考试中获优（设某班学生在一次考试中获优（A）、）、良（良（B）、）、中（中（C）、）、及格（及格（D））和不及格（和不及格（E））的人数相等。

当教师通知某甲：的人数相等当教师通知某甲：“你没有不及格你没有不及格”，甲获得了多少比特信息？为确定自己的，甲获得了多少比特信息？为确定自己的成绩，甲还需要多少信息？成绩，甲还需要多少信息？例例解：解： 令令P(x)P(x)表示表示“得到老师通知前甲的成绩的不确定性（概率）得到老师通知前甲的成绩的不确定性（概率）” P(x|y)P(x|y)表示表示“得到老师通知后甲的成绩的不确定性（概率）得到老师通知后甲的成绩的不确定性（概率）”则则 P(x)=1/5P(x)=1/5，， P(x|y)=1/4P(x|y)=1/4总的需要总的需要信息信息剩余信息剩余信息获得信息获得信息条件互信息量与联合互信息量条件互信息量与联合互信息量条件互信息量定义条件互信息量定义联合互信息量定义联合互信息量定义自信息量与互信息量的自信息量与互信息量的区分区分（（表达方式和含义上表达方式和含义上））信息量信息量互信息量互信息量自信息量与互信息量的自信息量与互信息量的联系联系平均互信息量平均互信息量平均互信息量定义平均互信息量定义平均条件互信息量定义平均条件互信息量定义平均联合互信息量定义平均联合互信息量定义(1)(1)非负性非负性(2)(2)互易性互易性(3)(3)极值性极值性平均互信息量平均互信息量 I(X;Y) 的性质的性质不具有非负性不具有非负性(4)(4)I(X;Y)与信息熵的关系与信息熵的关系(5)(5)凸函数性凸函数性平均互信息量平均互信息量 I(X;Y) 的性质的性质当当 p(y|x) 给定时，给定时，I(X;Y) 是是 p(x) 的上凸函数。

的上凸函数当当 p(x) 给定时，给定时，I(X;Y) 是是 p(y|x) 的下凸函数的下凸函数I(X;Y)与信息熵的关系与信息熵的关系I ( X ; Y ) = 0H ( X )H (Y )H ( XY )集合集合X与集合与集合Y 相互独立相互独立的情况的情况 I(X;Y)与信息熵的关系与信息熵的关系H ( XY )H ( X|Y )H (Y|X )H ( X )H (Y )H ( X|Y ) —— 含糊度或损失熵含糊度或损失熵 H ( Y|X ) —— 散布度或噪声熵散布度或噪声熵 I(X;Y)与信息熵的关系与信息熵的关系H ( X ) = H (Y ) = I ( X ; Y ) H ( XY )集合集合X与集合与集合Y 完全相关完全相关的情况的情况 I(X;Y)与信息熵的关系与信息熵的关系H(X|Y)I(X;Y) 的凸函数性的凸函数性I(X;Y) 的凸函数性的凸函数性I(X;Y) 的凸函数性的凸函数性当当 p(y|x) 给定时，给定时，I(X;Y) = f [p(x)] 是是上凸上凸函数当当 p(x) 给定时，给定时，I(X;Y) = f [p(y|x)] 是是下凸下凸函数。

函数C — 信道容量信道容量R(D) —率失真函数率失真函数小结小结互信息量互信息量 —— 信息论中的另一个基本概念（差值）信息论中的另一个基本概念（差值） —— 对两个随机变量之间统计依存性的信息度量对两个随机变量之间统计依存性的信息度量 —— 用来描述信道特性和信源的压缩特性用来描述信道特性和信源的压缩特性信息熵信息熵 —— 信息论中的最基础的基本概念信息论中的最基础的基本概念 —— 对随机变量不确定性的最好的度量对随机变量不确定性的最好的度量 —— 用来描述信源的信息特性用来描述信源的信息特性信息不增性原理信息不增性原理( (定理定理2.4)2.4)信道信道ⅠⅠp( (y| |x) )信道信道ⅡⅡ p( (z| |xy) )XYZ当且仅当当且仅当p( (z| |xy)= )= p( (z| |y) )时，等号成立时，等号成立穿越凤凰山穿越凤凰山- -游戏：动作游戏：动作传递传递 信息不增性原理信息不增性原理( (定理定理2.5)2.5)信道信道ⅠⅠp( (y| |x) )信道信道ⅡⅡ p( (z| |y) )XYZ当且仅当当且仅当Y和和Z是一一对应关系时，等号成立。

是一一对应关系时，等号成立平稳离散信源平稳离散信源(1)(1)平稳离散信源的概念平稳离散信源的概念(2)(2)平稳离散信源的熵平稳离散信源的熵(3)(3)信源的冗余度与信息速率信源的冗余度与信息速率Ø 信源的符号序列统计特性与时间的起点无关信源的符号序列统计特性与时间的起点无关平稳离散信源的熵平稳离散信源的熵随机矢量的熵（联合熵）随机矢量的熵（联合熵）极限熵（熵率）极限熵（熵率）平均符号熵平均符号熵定理定理定理定理2.6 2.6 2.6 2.6 设设设设证明：极限的存在性证明：极限的存在性证明：极限的存在性证明：极限的存在性 为单调有界序列为单调有界序列为单调有界序列为单调有界序列 有记忆有记忆平稳离散信源的熵平稳离散信源的熵《红楼梦》葬花吟《红楼梦》葬花吟 陈力陈力 三国演义主题曲三国演义主题曲 我们有我们有 则则又又得得定理定理定理定理说明：说明：说明：说明：n n随机变量之间的依赖性在某种程度上降低了信源随机变量之间的依赖性在某种程度上降低了信源随机变量之间的依赖性在某种程度上降低了信源随机变量之间的依赖性在某种程度上降低了信源的不确定性，即使信源（符号）携带的信息量减的不确定性，即使信源（符号）携带的信息量减的不确定性，即使信源（符号）携带的信息量减的不确定性，即使信源（符号）携带的信息量减少。

少n n当考虑依赖关系无限长时，平均符号熵和条件熵当考虑依赖关系无限长时，平均符号熵和条件熵当考虑依赖关系无限长时，平均符号熵和条件熵当考虑依赖关系无限长时，平均符号熵和条件熵都是非递增地一致趋于平稳信源的极限熵都是非递增地一致趋于平稳信源的极限熵都是非递增地一致趋于平稳信源的极限熵都是非递增地一致趋于平稳信源的极限熵无记忆无记忆平稳离散信源的熵平稳离散信源的熵无记忆平稳离散信源：信源输出为平稳独立的随无记忆平稳离散信源：信源输出为平稳独立的随机序列机序列又各分量分布相同又各分量分布相同无记忆无记忆平稳离散信源的熵平稳离散信源的熵无记忆无记忆平稳离散信源的熵平稳离散信源的熵随机矢量的熵（联合熵）随机矢量的熵（联合熵）极限熵极限熵平均符号熵平均符号熵信源的冗余度与信息速率信源的冗余度与信息速率对于离散平稳信源对于离散平稳信源对于离散平稳信源对于离散平稳信源n n理论上：实际的熵为理论上：实际的熵为理论上：实际的熵为理论上：实际的熵为 ———— 即信源所能输即信源所能输即信源所能输即信源所能输 出的信息量出的信息量出的信息量出的信息量————需要传递需要传递需要传递需要传递 的手段。

的手段n n实际上：因信源的统计特性了解不全实际上：因信源的统计特性了解不全实际上：因信源的统计特性了解不全实际上：因信源的统计特性了解不全————只能算出只能算出只能算出只能算出 作为信源信息量作为信源信息量作为信源信息量作为信源信息量————需要传递需要传递需要传递需要传递 的手的手的手的手段 分析：分析：分析：分析： 造成传递手段上造成传递手段上造成传递手段上造成传递手段上有有有有富余富余富余富余————输出效率不高，不经济输出效率不高，不经济输出效率不高，不经济输出效率不高，不经济n n效率效率效率效率n n冗余度冗余度冗余度冗余度 n n相对冗余度相对冗余度相对冗余度相对冗余度例：自然语言信源的冗余度例：自然语言信源的冗余度 英文英文2626个字母＋间隔符号＝个字母＋间隔符号＝2727，则，则 n n信源字母携带的最大信息量信源字母携带的最大信息量log27=4.76 bit/log27=4.76 bit/符号符号n n基于字母、间隔出现的概率统计基于字母、间隔出现的概率统计H H1 1＝＝4.03 bit/4.03 bit/符号符号n n基于两个、三个字母依赖关系概率统计基于两个、三个字母依赖关系概率统计H H2 2＝＝3.32 bit/3.32 bit/符号符号H H3 3＝＝3.1 bit/3.1 bit/符号符号n n 的近似值为：的近似值为：的近似值为：的近似值为： = 1.4 bit/= 1.4 bit/= 1.4 bit/= 1.4 bit/符号符号符号符号 效率效率效率效率 相对冗余度相对冗余度相对冗余度相对冗余度 传输英文语言时，传输英文语言时，传输英文语言时，传输英文语言时，71%71%71%71%是多余的！可以压缩是多余的！可以压缩是多余的！可以压缩是多余的！可以压缩71%71%71%71%的信的信的信的信息量。

息量n n冗余度存在可以增加抗干扰能力冗余度存在可以增加抗干扰能力冗余度存在可以增加抗干扰能力冗余度存在可以增加抗干扰能力 信源的冗余度与信息速率信源的冗余度与信息速率信源的冗余度信源的冗余度信息速率信息速率H∞ 实际信源熵实际信源熵H0 信源平均符号熵的最大值信源平均符号熵的最大值H(X) 信源熵信源熵 信源符号平均时长信源符号平均时长马尔可夫信源马尔可夫信源 n n很多信源输出的符号序列中，符号之间很多信源输出的符号序列中，符号之间的依赖关系是有限的，即任何时刻信源的依赖关系是有限的，即任何时刻信源符号发生的概率只与前面已经发出的若符号发生的概率只与前面已经发出的若干个符号有关，而与更前面发出的符号干个符号有关，而与更前面发出的符号无关无关n n状态状态 n n状态转移概率状态转移概率 马尔可夫信源马尔可夫信源 定义定义定义定义 2.17 2.17 2.17 2.17 若信源输出的符号序列和信源所处的状态满足下列两个条件：若信源输出的符号序列和信源所处的状态满足下列两个条件：若信源输出的符号序列和信源所处的状态满足下列两个条件：若信源输出的符号序列和信源所处的状态满足下列两个条件：（（（（1 1 1 1）某一时刻信源符号的输出只与此刻信源所处的状态有关，而与以前的状态及以）某一时刻信源符号的输出只与此刻信源所处的状态有关，而与以前的状态及以）某一时刻信源符号的输出只与此刻信源所处的状态有关，而与以前的状态及以）某一时刻信源符号的输出只与此刻信源所处的状态有关，而与以前的状态及以前的输出符号无关。

即前的输出符号无关即前的输出符号无关即前的输出符号无关即当具有时齐性时，即有当具有时齐性时，即有当具有时齐性时，即有当具有时齐性时，即有 及及及及 （（（（2 2 2 2）信源某）信源某）信源某）信源某l l l l时刻所处的状态由当前的输出符号和前一时刻时刻所处的状态由当前的输出符号和前一时刻时刻所处的状态由当前的输出符号和前一时刻时刻所处的状态由当前的输出符号和前一时刻 信源的状态唯一决定，信源的状态唯一决定，信源的状态唯一决定，信源的状态唯一决定，即即即即（即已知前一时刻信源状态及当前输出符号，则当前信源状态是确定的，或者说取某（即已知前一时刻信源状态及当前输出符号，则当前信源状态是确定的，或者说取某（即已知前一时刻信源状态及当前输出符号，则当前信源状态是确定的，或者说取某（即已知前一时刻信源状态及当前输出符号，则当前信源状态是确定的，或者说取某个状态的概率为个状态的概率为个状态的概率为个状态的概率为1 1 1 1，取其他状态的概率为，取其他状态的概率为，取其他状态的概率为，取其他状态的概率为0 0 0 0））））则此信源称为马尔可夫信源。

则此信源称为马尔可夫信源则此信源称为马尔可夫信源则此信源称为马尔可夫信源马尔可夫信源马尔可夫信源 定义定义定义定义 2.18 m 2.18 m 2.18 m 2.18 m 阶有记忆离散信源的数学模型可由一组信源符号集阶有记忆离散信源的数学模型可由一组信源符号集阶有记忆离散信源的数学模型可由一组信源符号集阶有记忆离散信源的数学模型可由一组信源符号集和一组条件概率确定：和一组条件概率确定：和一组条件概率确定：和一组条件概率确定：并满足并满足并满足并满足则称此信源为则称此信源为则称此信源为则称此信源为m m m m阶马尔科夫信源当阶马尔科夫信源当阶马尔科夫信源当阶马尔科夫信源当m=1m=1m=1m=1时，即任何时刻信源符号发时，即任何时刻信源符号发时，即任何时刻信源符号发时，即任何时刻信源符号发生的概率只与前面一个符号有关，则称为一阶马尔科夫信源生的概率只与前面一个符号有关，则称为一阶马尔科夫信源生的概率只与前面一个符号有关，则称为一阶马尔科夫信源生的概率只与前面一个符号有关，则称为一阶马尔科夫信源马尔可夫信源的熵马尔可夫信源的熵 对对对对于于于于一一一一个个个个马马马马尔尔尔尔可可可可夫夫夫夫信信信信源源源源，，，，当当当当信信信信源源源源处处处处于于于于某某某某个个个个状状状状态态态态 时时时时，，，，发发发发出出出出一一一一个个个个信信信信源源源源符符符符号号号号所携带的平均信息量，即在状态所携带的平均信息量，即在状态所携带的平均信息量，即在状态所携带的平均信息量，即在状态 下，发一个符号的条件熵为下，发一个符号的条件熵为下，发一个符号的条件熵为下，发一个符号的条件熵为我我我我们们们们要要要要计计计计算算算算的的的的是是是是马马马马尔尔尔尔可可可可夫夫夫夫信信信信源源源源平平平平均均均均符符符符号号号号熵熵熵熵的的的的极极极极限限限限熵熵熵熵，，，，为为为为简简简简便便便便起起起起见见见见，，，，我我我我们们们们省省省省去去去去了了了了繁繁繁繁琐琐琐琐的的的的证证证证明明明明，，，，假假假假设设设设信信信信源源源源在在在在极极极极限限限限情情情情形形形形处处处处于于于于平平平平稳稳稳稳分分分分布布布布状状状状态态态态（（（（本本本本章章章章如如如如无无无无特特特特别别别别说说说说明明明明，，，，例例例例题题题题均均均均满满满满足足足足此此此此特特特特性性性性）））），，，，即即即即信信信信源源源源处处处处于于于于某某某某个个个个状状状状态态态态的的的的概概概概率率率率是是是是稳稳稳稳定定定定不不不不变变变变的，这样极限熵应是的，这样极限熵应是的，这样极限熵应是的，这样极限熵应是剩下的问题是如何求剩下的问题是如何求剩下的问题是如何求剩下的问题是如何求 ？？？？ 马尔可夫信源的熵马尔可夫信源的熵 由于由于由于由于 是极限稳态分布，它应满足是极限稳态分布，它应满足是极限稳态分布，它应满足是极限稳态分布，它应满足利用上两式，解方程，即可求得利用上两式，解方程，即可求得利用上两式，解方程，即可求得利用上两式，解方程，即可求得 。

马尔可夫信源的熵马尔可夫信源的熵 〖〖〖〖例例例例2.82.8〗〗〗〗有有有有一一一一个个个个二二二二元元元元二二二二阶阶阶阶马马马马尔尔尔尔可可可可夫夫夫夫信信信信源源源源，，，，其其其其信信信信源源源源符符符符号号号号集集集集为为为为{0{0，，，，1}1}，，，，各各各各状状状状态态态态下输出各符号的概率如图下输出各符号的概率如图下输出各符号的概率如图下输出各符号的概率如图2-62-6所示，求信源熵所示，求信源熵所示，求信源熵所示，求信源熵E21:0.80:0.51:0.51:0.51:0.20:0.50:0.2001110010:0.8E E3 3E4E1图图2-6 2-6 二阶马尔可夫信源状态图二阶马尔可夫信源状态图马尔可夫信源的熵马尔可夫信源的熵 状态转移概率矩阵为状态转移概率矩阵为状态转移概率矩阵为状态转移概率矩阵为 根据状态转移矩阵，可得极限分布应满足根据状态转移矩阵，可得极限分布应满足根据状态转移矩阵，可得极限分布应满足根据状态转移矩阵，可得极限分布应满足马尔可夫信源的熵马尔可夫信源的熵 解方程，得解方程，得解方程，得解方程，得因此，信源熵为因此，信源熵为因此，信源熵为因此，信源熵为用用用用 的传统数学方法从离散情况向连续情况作推广的传统数学方法从离散情况向连续情况作推广的传统数学方法从离散情况向连续情况作推广的传统数学方法从离散情况向连续情况作推广连续信源的信息熵连续信源的信息熵结论：结论：结论：结论：连续信源的熵连续信源的熵连续信源的熵连续信源的熵值无限值无限值无限值无限 的含义的含义n n从数学概念上：连续熵不存在。

连续随机变从数学概念上：连续熵不存在连续随机变量所包含的信息量为无限大，我们不可能全量所包含的信息量为无限大，我们不可能全部获取，我们关心的只是其中足以满足我们部获取，我们关心的只是其中足以满足我们所需要的一部分所需要的一部分n n从物理层面上：从物理层面上： 作为参考点，作为参考点， 是相对值，实际通信中关心的是熵差，所以是相对值，实际通信中关心的是熵差，所以重点研究它符合信息理论研究的本质上的需重点研究它符合信息理论研究的本质上的需求连续信源的信息熵连续信源的信息熵连续信源的信息熵连续信源的信息熵连续信源的熵连续信源的熵相对熵（微分熵）相对熵（微分熵） 对相对熵的说明对相对熵的说明n nHc(X)不能作为不能作为连续信源连续信源X的不确定性的量度，的不确定性的量度，连续型随机变量的熵为无穷大非绝对值，连续型随机变量的熵为无穷大非绝对值，而为相对值定义与离散情形相统一而为相对值定义与离散情形相统一n nHc(X)的取值：可能不存在，可能为负值的取值：可能不存在，可能为负值连续信源的相对熵连续信源的相对熵1. 1. 1. 1. HHc c( (X X) )不存在的例子。

不存在的例子不存在的例子不存在的例子 设连续随机变量设连续随机变量设连续随机变量设连续随机变量 X X 有概率密度有概率密度有概率密度有概率密度 p p( (x x) ) 如下：如下：如下：如下：连续信源的相对熵连续信源的相对熵2. 2. 2. 2. HHc c( (X X) )取负值取负值取负值取负值 设连续随机变量设连续随机变量设连续随机变量设连续随机变量 X X 有概率密度有概率密度有概率密度有概率密度 p p( (x x) ) 如下：如下：如下：如下：连续信源的相对熵连续信源的相对熵例例例例2.92.92.92.9：设连续型随机变量：设连续型随机变量：设连续型随机变量：设连续型随机变量X X 在区间在区间在区间在区间 [ [a,ba,b] ]上服从均匀上服从均匀上服从均匀上服从均匀 分布分布分布分布 则则则则 连续信源的熵计算连续信源的熵计算例例例例2.102.102.102.10：具有正态分布（高斯分布）的连续型随机变量：具有正态分布（高斯分布）的连续型随机变量：具有正态分布（高斯分布）的连续型随机变量：具有正态分布（高斯分布）的连续型随机变量连续信源的熵计算连续信源的熵计算则则则则连续信源的熵计算连续信源的熵计算连续信源的信息熵连续信源的信息熵连续信源的条件熵与联合熵连续信源的条件熵与联合熵连续信源的互信息连续信源的互信息连续信源的互信息连续信源的互信息连续信源的互信息连续信源的互信息连续信源的平均互信息连续信源的平均互信息连续信源的连续信源的I(X;Y)：：取值有限；为非负值。

取值有限；为非负值例例: :设有二维高斯概率密度函数设有二维高斯概率密度函数—— 连续随机变量连续随机变量 X、、Y 的均值的均值—— 连续随机变量连续随机变量 X、、Y 的方差的方差 —— 相关系数相关系数（（归一化一化协方差）方差）求求 I(X;Y) = ?连续信源的连续信源的平均互信息平均互信息计算计算连续信源的连续信源的平均互信息平均互信息计算计算连续信源的连续信源的平均互信息平均互信息计算计算连续信源的相对熵、连续信源的相对熵、平均互信息的性质平均互信息的性质定理定理定理定理2.82.82.82.8（峰值受限）（峰值受限）（峰值受限）（峰值受限） 若随机变量若随机变量若随机变量若随机变量X X的取值被限定在区间的取值被限定在区间的取值被限定在区间的取值被限定在区间[ [a a, ,b b] ]，则，则，则，则X X的相对熵的相对熵的相对熵的相对熵当且仅当当且仅当当且仅当当且仅当X X服从均匀分布时具有最大的相对熵服从均匀分布时具有最大的相对熵服从均匀分布时具有最大的相对熵服从均匀分布时具有最大的相对熵离散情形：等概）（离散情形：等概）（离散情形：等概）（离散情形：等概） 证明：设随机变量证明：设随机变量证明：设随机变量证明：设随机变量X X概率密度函数为概率密度函数为概率密度函数为概率密度函数为q q( (x x) )，有，有，有，有又设均匀分布时概率密度函数为又设均匀分布时概率密度函数为又设均匀分布时概率密度函数为又设均匀分布时概率密度函数为p p( (x x), ),有有有有 且且且且则需证则需证则需证则需证连续信源的最大相对熵连续信源的最大相对熵定理定理定理定理2.102.102.102.10（平均功率受限）（平均功率受限）（平均功率受限）（平均功率受限） 若给定连续型随机变量若给定连续型随机变量若给定连续型随机变量若给定连续型随机变量X X的方差为的方差为的方差为的方差为 ，则，则，则，则X X的相对熵的相对熵的相对熵的相对熵当且仅当当且仅当当且仅当当且仅当X X服从服从服从服从服从服从服从服从GaussianGaussianGaussianGaussian分布时等号成立。

分布时等号成立分布时等号成立分布时等号成立 连续信源的最大相对熵连续信源的最大相对熵连续信源的最大相对熵连续信源的最大相对熵连续信源的最大相对熵连续信源的最大相对熵连续信源的熵功率连续信源的熵功率例：例：有一个连续信源，它发出的随机连续消息的有一个连续信源，它发出的随机连续消息的概率密度函数概率密度函数 p p（（x x））=1/2 =1/2 ，，1 ≤ x ≤ 3v 1 ≤ x ≤ 3v ，，求该信源消息的平均功率和熵功率求该信源消息的平均功率和熵功率任何一个信源的熵功率小于或等于其平均功率，当且仅任何一个信源的熵功率小于或等于其平均功率，当且仅任何一个信源的熵功率小于或等于其平均功率，当且仅任何一个信源的熵功率小于或等于其平均功率，当且仅当信源为高斯信源时，熵功率与平均功率相等当信源为高斯信源时，熵功率与平均功率相等当信源为高斯信源时，熵功率与平均功率相等当信源为高斯信源时，熵功率与平均功率相等打个比方：举重运动员的体重好比平均功率，举起的重量好比熵功率，这样打个比方：举重运动员的体重好比平均功率，举起的重量好比熵功率，这样打个比方：举重运动员的体重好比平均功率，举起的重量好比熵功率，这样打个比方：举重运动员的体重好比平均功率，举起的重量好比熵功率，这样同一级别举重比赛就相当于在平均功率相同的条件下看谁的熵功率大。

同一级别举重比赛就相当于在平均功率相同的条件下看谁的熵功率大同一级别举重比赛就相当于在平均功率相同的条件下看谁的熵功率大同一级别举重比赛就相当于在平均功率相同的条件下看谁的熵功率大龙清泉）（龙清泉）5656公斤级公斤级我的熵功我的熵功率最大率最大！！！！！！连续信源的熵功率连续信源的熵功率第二章第二章 小结小结两个概念两个概念自信息与互信息自信息与互信息两种信源两种信源离散信源与连续信源离散信源与连续信源。