信息论与编码第2章信源与熵.ppt

第第2 2章章 信源熵信源熵n2.0 信源的数学模型及其分类信源的数学模型及其分类n2.1 单符号离散信源单符号离散信源n2.2 多符号离散平稳信源多符号离散平稳信源n2.3 连续信源连续信源n2.4 离散无失真信源编码定理离散无失真信源编码定理(*)1本节内容本节内容n通信的根本问题通信的根本问题是将信源的输出信息将信源的输出信息在接收端尽可能精确地复现出来在接收端尽可能精确地复现出来n需要讨论：如何描述信源的输出如何描述信源的输出，即如何计算信源输出的信息量如何计算信源输出的信息量n信源的数学模型n信源的分类2什么是信源？什么是信源？n信源信源－信息的发源地，如人、生物、机器等等n由于信息十分抽象，所以我们通过信息载荷者，即消息来研究信源，并将信源的具体输出称作消息消息n消息的形式多样：离散消息（如汉字、符号、字母）；连续消息（如模拟图像、语音）n信源建模信源建模：信源消息中的信息是一个时变的不可预知的函数n描述信源消息或对信源建模，随机过程是一个有效的工具，通过随机过程的特性来描述信源的特性3信源输出的描述信源输出的描述 信源发出消息，消息载荷信息，而消息又具有不确定性，所以可用随机变量随机变量随机变量随机变量或随机序列（矢量）随机序列（矢量）随机序列（矢量）随机序列（矢量）来描述信源输出的消息，或者说用概率空间来描述信源。

信源的输出被抽象为一个随机变量序列（随机过程）信源 X1, X2, X3, …… Xi为为 {a1, a2, a3, …am}或或(a,b)4离散信源和连续信源离散信源和连续信源n用随机变量或随机矢量来描述信源的输出消息，用概率空间来描述信源时，则信源就是一个概率场：概率场：n离散信源：离散信源：信源输出的随机变量取值于某一离散符号集合，消息在时间和幅值上均是离散的，就叫做离散信源n比如平面图像 X(x，y)和电报、书信、文稿等等n离散信源只涉及一个随机事件，称为单符号离散信源，可用离散随机变量来描述；n若离散信源涉及多个随机事件，称为多符号离散信源，可用离散随机矢量来描述n连续信源：连续信源：信源输出的随机变量取值于某一连续区间，为连续信号，消息的个数是无穷值，就叫做连续信源n比如人发出的语音信号X(t)、模拟的电信号等等5离散和连续信源的数学模型离散和连续信源的数学模型6单单/多符号信源模型多符号信源模型n单符号信源：单符号信源：信源输出的是单个消息符号，用一维离散或连续随机变量X及其概率分布P来描述n多符号信源：多符号信源：信源输出的是多个消息符号，用N维随机矢量，N重离散概率空间的数学模型来描述。

n如自然语言信源就是把人类的语言作为信源，以汉字为例，就是随机地发出一串汉字序列n我们可以把这样信源输出的消息视为时间上或空间上离散的随机变量序列，即随机矢量n于是，信源的输出可用N维随机矢量(Xk,k=1,2,...,N)来描述，N一般为有限正整数7多符号信源的数学模型多符号信源的数学模型 —N重离散概率空间重离散概率空间8信源的分类信源的分类 主要基于两方面：n1. 信源消息取值的集合以及消息取值时刻的集合n离散信源、连续信源 或数字信源、模拟信源（波形信源）n2. 信源消息的统计特性n由此可分为无记忆信源、有记忆信源、n平稳信源、非平稳信源、n高斯信源、马尔可夫信源等n实际使用的是二者的组合n如离散无记忆信源等9信源的分类信源的分类—离散平稳信源n如果随机序列中各个变量具有相同的概率分布，则称为离散平稳信源离散平稳信源离散平稳信源离散平稳信源n如果离散平稳信源的输出序列中各个变量是相互独立的，即前一个符号的出现不影响以后任何一个符号出现的概率，则称为离散无记忆平离散无记忆平离散无记忆平离散无记忆平稳信源稳信源稳信源稳信源，否则称为离散有记忆平稳离散有记忆平稳离散有记忆平稳离散有记忆平稳信源信源信源信源10信源的分类信源的分类—无记忆信源n如果信源发出的消息符号间彼此是统计独立的，并且它们具有相同的概率分布，且N维随机矢量的联合概率分布为： n我们称之为离散无记忆信源离散无记忆信源离散无记忆信源离散无记忆信源。

n同样，若N维随机矢量中X每个变量Xk是连续随机变量，且相互独立，则X的联合概率密度函数n为 ，这种信源叫连续型无记忆信源连续型无记忆信源连续型无记忆信源连续型无记忆信源11信源的分类—有记忆信源n一般情况下，信源发出的符号间是彼此相互依存和关联的（如小说文字），是有记忆信源，通常用联合概率或条件概率来描述这种关联性n按记忆长度划分有：n有限记忆信源（马尔可夫信源） n有限状态马尔可夫链n无限记忆信源 12混合信源混合信源n按信源输出时间和取值划分：n时间连续，取值连续或随机的，称之为随机波形信源，表示为X(t)n输出既有连续分量又有离散分量，称之为混合信源重点研究离散信源产生消息的不确定性，不研重点研究离散信源产生消息的不确定性，不研究信源的内部结构和消息的如何产生究信源的内部结构和消息的如何产生13信源的分类信源的分类随机过程随机过程{x(t)}：：随机波形信源随机波形信源信源输出的消息是时间（或空间）上和取值上都是连续的函数离散无记忆信源的离散无记忆信源的N次扩展信源次扩展信源：输出的平稳随机序列X中各随机变量统计独立。

每个随机变量xi取值于同一概率空间每N个符号构成一组，等效为一个新的信源随机随机变量变量离散信源离散信源：可能输出的消息数有限连续信源连续信源：可能输出的消息数是无限的或不可数的非平稳非平稳信源信源平稳平稳信源信源连续连续连续连续平稳信源平稳信源离散离散离散离散平稳信源平稳信源：输出的随机序列X中每个随机变量取值是离散离散离散离散的，并且随机矢量X的各维概率分布不随时间平移而改变有限记忆信源有限记忆信源：输出的平稳随机序列X中各随机变量之间有依赖关系，但记忆长度有限马尔可夫信源马尔可夫信源：输出的随机序列X中各随机变量之间有依赖关系，但记忆长度有限，并满足马尔可夫链的条件式随机随机序列序列14第第2 2章章 信源熵信源熵n2.0 信源的数学模型及其分类信源的数学模型及其分类n2.1 单符号离散信源单符号离散信源n2.2 多符号离散平稳信源多符号离散平稳信源n2.3 连续信源连续信源n2.4 离散无失真信源编码定理离散无失真信源编码定理15第第2章章 信源熵信源熵n2.1 单符号离散信源单符号离散信源n2.1.1 单符号离散信源的数学模型单符号离散信源的数学模型n2.1.2 自信息和信源熵自信息和信源熵n2.1.3 信源熵的基本性质和定理信源熵的基本性质和定理n2.1.4 加权熵的概念及基本性质加权熵的概念及基本性质n2.1.5 各种熵之间的关系各种熵之间的关系162.1.1 单符号离散信源的单符号离散信源的数学模型数学模型n定义：单符号离散无记忆信源的数学模型17第第2章章 信源熵信源熵n2.1 单符号离散信源单符号离散信源n2.1.1 单符号离散信源的数学模型单符号离散信源的数学模型n2.1.2 自信息和信源熵自信息和信源熵n2.1.3 信源熵的基本性质和定理信源熵的基本性质和定理n2.1.4 加权熵的概念及基本性质加权熵的概念及基本性质n2.1.5 各种熵之间的关系各种熵之间的关系18随机事件与信息量n你的同学告诉你：“昨天中国男子足球队以3：0战胜了巴西队”，你的感觉如何？n如果你的同学又告诉你： “昨天中国男子乒乓球队以3：0战胜了巴西队”，你的感觉又如何？n比较从这两件事情当中你获得信息量的大小？19自信息量定义n定义 2.1.1 任意随机事件的自信息量定义为该事件发生概率的对数的负值。

n自信息量的单位取决于对数选取的底n单位：比特bit、奈特nat、哈特Hartn当对数的底取2时，单位为比特bitn当以自然数e为底时，单位为奈特natn当以10为底时，单位为哈特hart20自信息量的单位n在现代数字通信系统中，一般采用二进制的记数方式在信息量的计算中也多采用以2为底的方式，一般默认以2为底n三个信息单位比特bit、奈特nat、哈特Hart之间的转换关系如下：21对数及常用公式Examples: 22信息量、不确定度和惊讶度n在事件发生前有不不确确定定度度：不确定度不确定度与事件发生与否无关，它表征的是事件的特性；n在事件发生时有惊讶惊讶度度；n在事件发生后带来信息信息量量：n因此，当一个概率很低的随机事件发生，我们就会感到因此，当一个概率很低的随机事件发生，我们就会感到非常惊讶，并得到很大的信息量非常惊讶，并得到很大的信息量n如：9.11事件，美国纽约世贸大厦被炸；n彗星撞地球23自信息量n从信息源获取信息的过程是信源不确定度信源不确定度缩减的过程n随机事件包含的信息信息与其不确定度紧密相关n在统计分析中，使用概率概率作为衡量不确定性的一种指标n可以推论出：随机事件包含信息的度量应是其随机事件包含信息的度量应是其概率的函数。

概率的函数24自信息量与不确定度(例)n例：有一本n页书，每页200字，作者使用的词汇有1000个字那么，1000个字每次取200个字构成一页，其总排列组合数也就是一页书总的状态数共有1000200=N1，对于n页书，则不同状态数将增加到N1n ，即Nn= N1n =[(1000)200] n = 1000200n n假定每种状态是等概的，则n页书中对应每一种状态的概率为Pn=1/ Nn=1/ N1n = 1/1000200n n n用概率倒数的对数来度量其不确定度用概率倒数的对数来度量其不确定度用概率倒数的对数来度量其不确定度用概率倒数的对数来度量其不确定度，，，，则为log(1/Pn)= log(Nn)=nlog(N1)n记1页（n页）书每种状态的不确定度为H1（Hn）n则Hn = log(1/Pn)= log(Nn)=nlog(N1)= nH1 = Hnn也就是说n n页书包含的信息量是页书包含的信息量是页书包含的信息量是页书包含的信息量是1 1页书包含信息量的页书包含信息量的页书包含信息量的页书包含信息量的n n倍倍倍倍25自信息量的性质n值得注意的是：26自信息量（例）n某地二月份天气的概率分布统计如下：n这四种气候的自信息量分别为：n可见不同天气情况具有不同的自信息量，n自信息量具有随机变量的性质27联合自信息量n定义 2.1.2 二维联合集XY上的元素（ ）的联合自信息量定义为n式中 为积事件； 为元素 的二维联合概率。

n当X和Y相互独立时，28条件自信息量n定义 2.1.3 联合集XY中，对事件 和 ，事件 在事件 给定的条件下的条件自信息量定义为n由于每个随机事件的条件概率都处于0～ 1范围内，所以条件自信息量均为非负值29几种自信息量之间的关系n自信息量、联合自信息量、条件自信息量都满足非负性和单调递减性n三者都是随机变量，其值随着变量xi，yj的变化而变化n三者之间有如下关系式：30例：联合自信息量n设在一正方形棋盘上共有64个方格，如果甲将一粒棋子随意地放在棋盘中的某方格且让乙猜测棋子所在位置：n将方格按顺序编号，令乙猜测棋子所在方格的顺序号；n解：xy31例：条件自信息量n设在一正方形棋盘上共有64个方格，将方格按行和列编号，甲将棋子所在方格的行（或列）编号告诉乙之后，再令乙猜测棋子所在列（或行）的位置n解：xy32自信息量不能作为信源的自信息量不能作为信源的整体信息测度整体信息测度n自信息量 是指某一信源X发出某一信息符号 所含有的信息量发出的信息符号不同，它们所含有的信息量就不同n信源发出的信息符号可用随机事件来描述n自信息量是一个随机变量，它反映了信源发出某一信息符号的不确定性，不能反映整个信源的不确定性。

它不能用来作为整个信源的信息测度33信源的概率空间描述信源的概率空间描述n用概率空间来描述信源n用这个概率空间的可能状态数目及其概率来描述信源的不确定程度：n其中：nX是信源的状态空间，为一个离散集，表示了随机事件的状态数；nP(X)是随机事件各种可能状态的概率分布，且ΣP(x)=1，n各状态是相互独立的n通常记为{X,P(x)}34信源的不确定度举例信源的不确定度举例n分析整个信源的不确定性n有一个布袋，装有100个对手感觉一样的球，但颜色不同，每种颜色球的数量也不同随意从中拿出一球，猜测球的颜色n1、90个红球，10个白球 ---容易猜测n2、50个红球，50个白球---较难猜测n3、红、白、黑、黄球各25个---更难猜测n容易看出：信源的不确定度与信源所包含的随机事件的可能状态数目和每种状态的概率有关35信源不确定度的几个结论信源不确定度的几个结论n关于信源不确定度的几个结论：n信源的不确定程度与信源概率空间的状态数及其概率分布有关n如果信源概率空间的状态数确定，概率分布为等概时，不确定程度最大n等概时，不确定程度与信源概率空间的可能状态数（或相应的概率）有关，状态数越多（或相应的概率越小），不确定程度就越大。

n信源的不确定程度可以用信源概率空间的概率分布来描述通常记为H(X)=H(p1, p2,...pN)n对于上面的例子，有nH3(1/4,1/4,1/4,1/4)> H2(1/2,1/2)> H1(0.90,0.10)36 平均自信息量平均自信息量—信息熵信息熵n自信息量是随机变量，它反映了信源发出某一信息符号的不确定性，但不能用来作为整个信源的信息测度因此，我们引入平均自信息量，即信息熵信息熵n定义 2.3.1 集X上，随机变量I(xi)的数学期望定义为平均自信息量n集X的平均自信息量又称做是集X的信息熵，简称做熵含义上信息熵与热熵有相似之处37平均不确定性平均不确定性n集X的平均自信息量表示集X中事件出现的平均不确定性n在观测之前，确定确定集合X中出现一个事件平均所需的信息量；n观测之后，集合X中每出现一个事件平均给出的信息量n例：38信息熵的单位信息熵的单位n n离散集合离散集合离散集合离散集合X X信息熵的单位取决于对数选取的底信息熵的单位取决于对数选取的底信息熵的单位取决于对数选取的底信息熵的单位取决于对数选取的底n如果一个离散集合X的概率分布为n个状态等概，选取对数底为n，由信息熵定义n可以说此集合X包含了1个n进制单位的信息量，用一个n进制的数就可以表示此集合的信息。

n在现代数字通信系统中，一般采用二进制的记数方式在信息熵的计算中也多采用以2为底的方式，且默认记为H(X)由对数公式可以得到r进制与二进制之间的关系：39从布袋中摸球（例）从布袋中摸球（例）n如果每次摸出一个球后又放回袋中，再进行下一次摸取那么如此摸取n次，红球出现的次数为np(x1)次，白球出现的次数为np(x2)次随机摸取n次后总共所获得的信息量为： np(x1)I(x1)+ np(x2)I(x2)n平均随机摸取一次所获得的信息量则为：n从此例可以看出，平均自信息量，亦即信息熵H(X)是从平均意义上来表征信源的总体特征的一个量，它表征信源的平均不确定性40从布袋中摸球（例）从布袋中摸球（例）n继续从布袋中摸球n使用信息熵定义计算三种情况下信源的平均不确定性41信源熵与平均自信息量信源熵与平均自信息量n信源熵与平均自信息量数值相等，含义不同n信源熵表征信源的平均不确定度；n平均自信息量是消除信源不确定度所需要的信息的度量；n信源熵H(X)的三种物理含义：n表示信源输出后，每个离散消息所提供的平均信息量；n表示信源输出前，信源的平均不确定度；n反映了变量X的随机性42条件熵条件熵n定义 2.3.3 联合集XY上，条件自信息量I(x|y)的概率加权平均值定义为条件熵。

其定义式为n上式称为联合集XY中，集Y相对于集X的条件熵n条件熵又可写成n式中取和的范围包括XY二维空间中的所有点这里要注意条件熵用联合概率p(xy)，而不是用条件概率p(y|x)进行加权平均43为什么条件熵为什么条件熵要用联合概率进行加权平均？要用联合概率进行加权平均？44联合熵联合熵n定义 2.3.4 联合集XY上，每对元素的自信息量的概率加权平均值定义为联合熵n根据联合自信息量的定义，联合熵又可定义为n联合熵又可称为共熵45第第2章章 信源熵信源熵n2.1 单符号离散信源单符号离散信源n2.1.1 单符号离散信源的数学模型单符号离散信源的数学模型n2.1.2 自信息和信源熵自信息和信源熵n2.1.3 信源熵的基本性质和定理信源熵的基本性质和定理n2.1.4 加权熵的概念及基本性质加权熵的概念及基本性质n2.1.5 各种熵之间的关系各种熵之间的关系46熵函数的数学特征n随机变量集X的熵H(X)只是其概率分布 的函数，称为熵函数所以H(X)又可以记为n根据此式，再由概率的完备性， ，可知H(P)H(P)实际上是实际上是(q-1)(q-1)元函数元函数。

n如二元熵，有n为讨论熵函数的性质，需借用凸函数的概念47　　熵　　熵函数函数的基本性质的基本性质n非负性n对称性n极值性n极值性特例＿最大离散熵定理n凸函数性n扩展性n确定性n可加性48熵函数的性质熵函数的性质—— 1. 非负性非负性n非负性n其中，等号成立的充要条件是当且仅当对某n即，信源虽然有不同的输出符号，但它只有一个符号几乎必然出现，而其它符号几乎都不可能出现，那么，这个信源是一个确知信源，其信源熵等于零n这种非负性对于离散信源的熵是正确的，但是对于连续信源来说，该性质不存在49熵函数的性质熵函数的性质—— 2. 对称性对称性n当概率矢量 中的各分量的次序任意变更时，熵值不变n该性质说明信源的熵仅与信源总体的统计特性有关如果统计特性相同，不管其内部结构如何，其信源熵值都相同n例，A,B两地天气情况的平均不确定性为晴多云多云多云多云雨冰雹冰雹冰雹冰雹地域A 1/21/41/81/8地域B 1/21/81/81/450熵函数的性质熵函数的性质—— 3.极值性、极值性、最大熵定理最大熵定理n该性质表明，在离散情况下，集合X中的各事件依等概率发生时，熵达到极大值。

这个重要结论称为最大熵定理最大熵定理n集合中元素的数目n越多，其熵值就越大n对数函数的单调上升性51熵函数的性质熵函数的性质—— 4.扩展性扩展性n证明： 　　所以通过熵函数的定义可以证明上式成立n含义：若集合X有q个事件，另一个集合X’有q+1个事件，但X和X’集的差别只是多了一个概率接近于零的事件，则两个集的熵值一样n换言之，一个事件的概率与其中其它事件的概率相比很小时，它对集合的熵值的贡献可以忽略不计52熵函数的性质熵函数的性质—— 5. 确定性确定性n集合X中只要有一个事件为必然事件，则其余事件为不可能事件n此时，集合X中每个事件对熵的贡献都为零，因而熵必为零53熵函数的性质熵函数的性质—— 6. 可加性可加性n可加性：可加性：n如果有两个随机变量X，Y，它们不是相互独立的，则二维随机变量（X，Y）的熵等于X的无条件熵加上当X已给定时Y的条件概率定义的熵的统计平均值，即n强可加性：强可加性：n当二维随机变量X，Y相互统计独立时，则有54熵函数的性质熵函数的性质—— 可加性证明可加性证明55熵函数的性质熵函数的性质—— 7. 上凸性上凸性n 是概率分布是概率分布 的的严格上凸函数严格上凸函数n可以通过凸函数的概念和詹森(Jenson)不等式证明。

n上凸函数如：n二元熵函数n三元熵函数二元熵函数56上凸性证明＿上凸性证明＿凸函数的概念凸函数的概念n定义2.3.2 设 　　为一多元函数若对于任意一个小于1的正数 　以及函数f(X)定义域内的任意两个矢量 有n则称f(X)为定义域上的凸函数n若有：n则称f(X)为定义域上的上凸函数（Cap型函数）或严格上凸函数反反反反之之之之，n若有：n则称f(X)为定义域上的下凸函数（Cup型函数）或严格下凸函数57上凸性证明上凸性证明　　＿詹森　　＿詹森(Jenson)不等式不等式n引理n若f(x)是定义在区间[a,b]上的实值连续上凸函数，则对于任意一组 和任意一组非负实数n ：n当取xk为一个离散无记忆信源的信源符号，λk取为相应的概率时，显然满足引理条件n若取f(.)为对数函数，上述不等式可写为nE[logx]≤log(E[x])n或对于一般的凸函数f(.)，写成E[f(x)]≤f(E[x])58第第2章章 信源熵信源熵n2.1 单符号离散信源单符号离散信源n2.1.1 单符号离散信源的数学模型单符号离散信源的数学模型n2.1.2 自信息和信源熵自信息和信源熵n2.1.3 信源熵的基本性质和定理信源熵的基本性质和定理n2.1.4 加权熵的概念及基本性质加权熵的概念及基本性质n2.1.5 各种熵之间的关系各种熵之间的关系59加权熵加权熵n熵的对称性，显露出它无法描述主观意义上对事件的判断的差别，从而淹没了个别事件的重要性。

n为了把主观价值和主观意义反映出来，引入加权熵的概念它是通过引入事件的重量，来度量事件的重要性或主观价值n一般情况下事件的重量与事件发生的客观概率客观概率客观概率客观概率不一致，事件的重量可以反映主观的特性主观的特性主观的特性主观的特性（就人们的主观目的来说），也可以反映事件本身的某些客观的性质60加权熵加权熵n设有随机变量X，引入事件的重量后，其概率空间如下，n其中61加权熵定义和性质加权熵定义和性质n定义2.1.10 离散无记忆信源[X P W]的加权熵定义为 n加权熵的一些重要性质:n性质1 非负性 n性质2 等重性若权重 ，则 即若每一事件都被赋于同样的重量，则加权熵退化为香农熵n性质3 确定性 若 ，而 则加权熵为零,即 62加权熵的性质加权熵的性质n性质4 n这一性质表明：某些事件有意义（ ），但不发生（ ）；而另外一些事件虽然发生（ ），但毫无意义（ ）。

所以从主观效果来看，人们并没有获在得任何有意义的信息 63加权熵的性质加权熵的性质n性质5 对称性n性质6 均匀性n性质7 非容性n性质8 扩展性n性质9 线性叠加性n性质10 加权熵的最大值64第第2章章 信源熵信源熵n2.1 单符号离散信源单符号离散信源n2.1.1 单符号离散信源的数学模型单符号离散信源的数学模型n2.1.2 自信息和信源熵自信息和信源熵n2.1.3 信源熵的基本性质和定理信源熵的基本性质和定理n2.1.4 加权熵的概念及基本性质加权熵的概念及基本性质n2.1.5 各种熵之间的关系各种熵之间的关系65各种熵之间的关系各种熵之间的关系n1.联合熵与信息熵、条件熵的关系n2.联合熵与信息熵的关系n3.条件熵与通信熵的关系661.联合熵与信息熵、条件熵联合熵与信息熵、条件熵nH(XY)=H(X)+H(Y/X); H(YX)=H(Y)+H(X/Y)nH(X)+H(Y/X)=H(Y)+H(X/Y)nH(X)—H(X|Y)=H(Y)—H(Y|X) n如果集X和集Y相互统计独立，则有：H(XY)=H(X)+H(Y) n还可将此性质推广到多个随机变量构成的概率空间之间的关系 。

设有N个概率空间X1,X2,…,XN 其联合熵可表示为 n如果N个随机变量相互独立，则有67联合熵与信息熵、条件熵关系式联合熵与信息熵、条件熵关系式的证明的证明证明：对于离散联合集XY，共熵为682.联合熵与信息熵的关系联合熵与信息熵的关系n若集合X和Y统计独立，则n该性质可以推广到N个概率空间的情况n同理，上式等号成立的充要条件是：69H(XY)≤H(X)+H(Y) 的证明的证明703.条件熵与通信熵的关系条件熵与通信熵的关系H(Y/X)≤H(Y)71H(Y/X)≤H(Y) 证明（续）证明（续）72例例2.3.4 求联合集求联合集X,Y上的各种上的各种熵熵n设一系统的输入符号集X=(x1,x2,x3,x4,x5）输出符号集Y=（y1,y2,y3,y4），如图所示输入符号与输出符号的联合分布为73例例2.3.4 计算先验概率、后验计算先验概率、后验概率概率74例例2.3.4 计算后验概率（续）计算后验概率（续）75例例2.3.4计算联合熵、信息熵计算联合熵、信息熵(续续) 76例例2.3.4 计算条件熵计算条件熵(续续) 77例例2.3.4（续）例题验证关系式（续）例题验证关系式nH(XY)=2.665比特/符号nH(X)=2.066比特/符号;H(Y)=1.856比特/符号nH(X/Y)=0.809比特/符号;H(Y/X)=0.600比特/符号n有：nH(XY)=2.665<3.922=H(X)+H(Y)nH(X)+H(Y)=2.066+1.856=3.922nH(Y)+H(X/Y)=1.856+0.809=2.665nH(X)+H(Y/X)=2.066+0.600=2.666n注意到：nH(XY)= H(Y)+H(X/Y)=H(X)+H(Y/X)nH(XY)

介绍了联合符号集上的条件熵和联合熵的定义简单讨论了加权熵的概念和意义在信息熵、条件熵和联合熵定义的基础上，分析了几种熵函数之间的关系和性质，并通过例题，具体讲解了各种熵的计算及其含义79第第2节节 多符号离散信源多符号离散信源n2.2 .1　平稳信源的定义及分类　平稳信源的定义及分类n2.2.2 离散无记忆信源的N次扩展信源n2.2.3 一般离散平稳信源n2.2.4 马尔可夫信源n2.2.5 信源的相关性和剩余度80多符号信源多符号信源n多符号信源：信源输出的是多个消息符号，用N维随机矢量，N重离散概率空间的数学模型来描述n如自然语言信源就是把人类的语言作为信源，以汉字为例，就是随机地发出一串汉字序列n我们可以把这样信源输出的消息视为时间上或空间上离散的随机变量序列，即随机矢量n于是，信源的输出可用N维随机矢量(Xk,k=1,2,...,N)来描述，N一般为有限正整数81多符号信源的数学模型多符号信源的数学模型　　　　—N重离散概率空间重离散概率空间82平稳信平稳信源源83平稳信源＿一维平稳平稳信源＿一维平稳84平稳信源＿二维平稳平稳信源＿二维平稳85平稳信源＿平稳信源＿N维平稳维平稳86平稳信源＿离散平稳信源平稳信源＿离散平稳信源87离散平稳信源离散平稳信源n离散平稳信源分为有记忆的或无记忆的，区别是信源发出的各个符号之间是否具有统计关联关系。

n无记忆：如离散无记忆信源的N次扩展信源n有记忆：马尔可夫信源n统计关联性即记忆性的表示方式：n用信源发出的一个符号序列的整体概率，即N个符号的联合概率联合概率联合概率联合概率来反映有记忆信源的特征，这种信源一般是指发出符号序列的离散平稳有记忆信源离散平稳有记忆信源n用信源发出符号序列中各个符号之间的条件概率条件概率条件概率条件概率来反映记忆特征，这种信源代表是马尔可夫信源马尔可夫信源88第第2节节 多符号离散信源多符号离散信源n2.2 .1　平稳信源的定义及分类n2.2.2 离散无记忆信源的离散无记忆信源的N次扩展信源次扩展信源n2.2.3 一般离散平稳信源n2.2.4 马尔可夫信源n2.2.5 信源的相关性和剩余度892.2.2 离散无记忆信源的离散无记忆信源的N次扩次扩展信源展信源n最简单的离散信源n单符号离散信源nN次扩展信源n离散无记忆二进制信源的扩展信源n离散无记忆信源的扩展信源nN次扩展信源的熵90最简单的离散信源最简单的离散信源91N次扩展信源次扩展信源n1. 离散无记忆二进制信源的二次扩展信源　如图，二次扩展信源的输出消息是符号序列，分组发出，每两个二进制符号构成一组。

其数学模型为扩展信源X＝X1X2二次扩展信源92N次扩展信源（续）次扩展信源（续）n2. 离散无记忆二进制信源的三次扩展信源　三次扩展信源X3＝(X1X2X3)共输出qN个消息符号，其中q=2，N＝3，即8个长为3的二进制系列符号，它等效为一个拥有8个消息符号的新信源X93N次扩展信源（续）次扩展信源（续）n定义　设X是一个离散无记忆信源，其概率空间　其中q为信源符号个数，pi＝P(X=ai) i=1,2,…q则X的N次扩展信源XN是具有qN个消息符号的离散无记忆信源，其概率空间为94N次扩展信源的熵次扩展信源的熵95N次扩展信源的熵次扩展信源的熵(证明证明)96N次扩展信源的熵（证明）次扩展信源的熵（证明）97N次扩展信源的熵－例题次扩展信源的熵－例题n例：设有一离散无记忆信源X，其概率空间为98N次扩展信源的熵－例题次扩展信源的熵－例题(续续)信源符号a1a2a3a4a5a6a7a8a9符号系列a1 a1a1 a2a1 a3a2 a1a2 a2a2 a3a3 a1a3 a2a3 a3概率p(ai)1/41/81/81/81/161/161/81/161/1699第2节 多符号离散信源n2.1 .1　平稳信源的定义及分类n2.2.2 离散无记忆信源的N次扩展信源n2.2.3 一般离散平稳（有记忆）信源一般离散平稳（有记忆）信源n平稳信源的熵平稳信源的熵n极限熵极限熵n2.2.4 马尔可夫信源n2.2.5 信源的相关性和剩余度100二维平稳信源的熵二维平稳信源的熵　　＿联合熵　　＿联合熵n以最简单的二维平稳信源为例,它是长度为2的有记忆平稳信源。

101二维平稳信源的熵二维平稳信源的熵＿与无记忆二次扩展信源的关系＿与无记忆二次扩展信源的关系n当X1和X2取值于同一集合（概率空间）时，nH(X1)=H(X2)n当X1和X2无记忆时nH(X)=2H(X)=H(X2)n所以离散无记忆信源的二次扩展信源离散无记忆信源的二次扩展信源可看成是二维离散平稳信源的特例特例102二维平稳信源的熵二维平稳信源的熵＿与无记忆二次扩展信源的关系＿与无记忆二次扩展信源的关系n由于条件熵小于无条件熵，所以nH(X1X2)= H(X1)+ H(X2/X1)nH(X1X2)≤H(X1)+ H(X2)n说明二维离散平稳有记忆信源的熵小于等于无记忆二次扩展信源的熵n对于二维离散平稳无记忆信源X2=X1X2来说，X1对X2不产生任何影响n对于二维离散平稳有记忆信源，由于X1和X2有统计依赖关系， X1的发生会提供X2的部分相关信息103二维平稳信源的熵二维平稳信源的熵-例题例题P(X2/X1)X2=x1X2=x2X2=x3X1=x17/92/90X1=x21/83/41/8X1=x302/119/11104二维平稳信源的二维平稳信源的熵熵-例题例题(续续)105二维平稳信源的熵二维平稳信源的熵-例题例题(续续)106第2节 多符号离散信源n2.1 .1　平稳信源的定义及分类n2.2.2 离散无记忆信源的N次扩展信源n2.2.3 一般离散平稳信源一般离散平稳信源n平稳信源的熵平稳信源的熵n极限熵极限熵n2.2.4 马尔可夫信源n2.2.5 信源的相关性和剩余度107N维平稳有记忆信源的熵维平稳有记忆信源的熵＿联合＿联合熵熵n由二维平稳有记忆信源推广到N>2的N维平稳有记忆信源的熵。

108N维平稳有记忆信源的熵维平稳有记忆信源的熵＿联合熵的分解式＿联合熵的分解式109N维平稳有记忆信源的熵维平稳有记忆信源的熵＿条件熵＿条件熵随随N增加而递减增加而递减110N维平稳有记忆信源的熵维平稳有记忆信源的熵＿平均符号＿平均符号熵熵n离散平稳有记忆信源的联合熵(X1X2...XN)，表示平均发出一个消息所提供的信息量这里的一个消息是由N个符号组成的序列n信源平均发出一个符号所提供的信息量称为平均平均平均平均符号熵符号熵符号熵符号熵111N维平稳有记忆信源的熵维平稳有记忆信源的熵＿极限熵＿极限熵§当N趋于无穷大时的平均符号熵，称为极限熵极限熵极限熵极限熵或极限信息量，记为H∞112N维平稳有记忆信源的熵维平稳有记忆信源的熵＿极限熵的意义＿极限熵的意义n对于多符号离散平稳信源，实际上它在不断地发出符号，符号之间的统计关联关系并不仅限于长度N，而是伸向无穷远研究实际信源，必须求出信源的极限熵H∞nH∞是否存在？n如何求H∞？n当信源是离散平稳信源时，H∞是存在的，且等于关联长度N趋于∞时，条件熵的极限值即有113N维平稳有记忆信源的熵维平稳有记忆信源的熵＿极限熵存在定理＿极限熵存在定理114N维平稳有记忆信源的熵维平稳有记忆信源的熵＿极限熵存在定理（续）＿极限熵存在定理（续）115N维平稳有记忆信源的熵维平稳有记忆信源的熵＿极限熵存在定理（续）＿极限熵存在定理（续）116离散平稳信源离散平稳信源-小结小结n1.实际信源往往比较复杂，在其定义上加入平稳性约束条件即为平稳信源，而平稳信源通常都是有记忆信源。

n2.极限熵代表了一般离散平稳有记忆信源平均每发出一个符号所提供的信息量n3.计算联合熵或极限熵很困难，需要测定信源的无穷阶联合概率和条件概率一般可用条件熵或平均符号熵作为极限熵的近似值117第第2节节 多符号离散信源多符号离散信源n2.2 .1　平稳信源的定义及分类n2.2.2 离散无记忆信源的N次扩展信源n2.2.3 一般离散平稳信源n2.2.4 马尔可夫信源马尔可夫信源n有限状态马尔可夫链有限状态马尔可夫链n马尔可夫信源马尔可夫信源n2.2.5 信源的相关性和剩余度118有限状态马尔可夫链有限状态马尔可夫链＿定义＿定义119有限状态马尔可夫链有限状态马尔可夫链＿转移概率＿转移概率pij(m,n)n为了知道系统状态的转化情况，引入转移概率n转移概率表示：已知在时刻m系统处于状态ei的条件下，经(n-m)步后，转移到状态ej的概率它是一个条件概率n转移概率的性质：120有限状态马尔可夫链有限状态马尔可夫链_基本（一步）转移概率基本（一步）转移概率121有限状态马尔可夫链有限状态马尔可夫链_k步转移概率步转移概率122有限状态马尔可夫链有限状态马尔可夫链_K步转移矩阵步转移矩阵123有限状态马尔可夫链有限状态马尔可夫链_时齐时齐性性124有限状态马尔可夫链有限状态马尔可夫链_切普曼切普曼-柯尔莫哥洛夫方程柯尔莫哥洛夫方程125有限状态马尔可夫链有限状态马尔可夫链_切普曼切普曼-柯尔莫哥洛夫方程（证明柯尔莫哥洛夫方程（证明））126有限状态马尔可夫链有限状态马尔可夫链_遍历性遍历性127有限状态马尔可夫链有限状态马尔可夫链_马尔可夫链的稳态分布马尔可夫链的稳态分布128有限状态马尔可夫链有限状态马尔可夫链_状态分布矢量的递推运算状态分布矢量的递推运算129有限状态马尔可夫链有限状态马尔可夫链_稳态分布稳态分布存在性定理一存在性定理一130有限状态马尔可夫链有限状态马尔可夫链_状态极限概率的求解状态极限概率的求解131有限状态马尔可夫链有限状态马尔可夫链_稳态分布稳态分布存在性定理二存在性定理二132有限状态马尔可夫链有限状态马尔可夫链_例题（遍历性的判断）例题（遍历性的判断）133有限状态马尔可夫链有限状态马尔可夫链——例题（稳态分布的求解）例题（稳态分布的求解）134第第2节节 多符号离散信多符号离散信源源n2.2 .1　平稳信源的定义及分类n2.2.2 离散无记忆信源的N次扩展信源n2.2.3 一般离散平稳信源n2.2.4 马尔可夫信源马尔可夫信源n有限状态马尔可夫链n马尔可夫信源马尔可夫信源n2.2.5 信源的相关性和剩余度135马尔可夫信源＿定义马尔可夫信源＿定义136马尔可夫信源马尔可夫信源＿状态的一步转移概率＿状态的一步转移概率n马尔可夫信源输出的符号序列Xl完全由信源所处的状态Sl决定。

所以，可将信源的输出符号符号系列系列变换成状态系列状态系列，即，信源在l-1时刻的状态ei，当它发出一个符号后，所处的状态变成l时刻的状态ej，这种状态间的变化可用一步转移概率描述137马尔可夫信源马尔可夫信源_时齐遍历性时齐遍历性n时齐性：n转移概率与时间起点无关n遍历性：n当转移步数足够大时，转移概率与起始状态无关，即达到平稳分布n时齐遍历马尔可夫信源：n同时满足时齐性和遍历性138m阶马尔可夫信源阶马尔可夫信源nm阶马尔可夫信源：n有记忆离散信源，若记忆长度为m＋1，即信源每次发出的符号仅与前面m个符号有关，与更前面的符号无关，这样的信源称为m阶马尔可夫信源nm阶马尔可夫信源的记忆关系用条件概率描述为：139m阶马尔可夫信源的数学模型阶马尔可夫信源的数学模型140m阶阶马尔可夫信源马尔可夫信源＿状态转移图（例＿状态转移图（例1））n通常我们用马尔可夫链的状态转移图来描述马尔可夫信源n信源状态转移图141m阶阶马尔可夫信源马尔可夫信源＿状态转移图（例＿状态转移图（例2））142m阶阶马尔可夫信源马尔可夫信源＿状态转移图（例＿状态转移图（例2续）续）143m阶阶马尔可夫链马尔可夫链＿状态转移图（例＿状态转移图（例3））144m阶阶马尔可夫链马尔可夫链＿状态转移图（例＿状态转移图（例3续）续）145m阶马尔可夫链阶马尔可夫链＿状态转移图（例＿状态转移图（例3续）续）n一步转移矩阵为P146M阶马尔可夫信源阶马尔可夫信源＿极限熵＿极限熵H∞＝＝ Hm+1n当时间足够长时，遍历的m阶马尔可夫信源可以视为平稳信源，又因为信源发出的符号只与最近的m个符号有关，所以由极限熵定理147M阶马尔可夫信源阶马尔可夫信源＿＿Hm+1的的计算计算148计算此马尔可夫信源计算此马尔可夫信源熵熵-例题例题149马尔可夫信源熵马尔可夫信源熵-例题例题(续续)150第第2节节 多符号离散信源多符号离散信源n2.1 .1　平稳信源的定义及分类n2.2.2 离散无记忆信源的N次扩展信源n2.2.3 一般离散平稳信源n2.2.4 马尔可夫信源n2.2.5 信源的相关性和剩余度信源的相关性和剩余度151信源的相关性信源的相关性152n为了衡量信源的相关性程度，引入剩余度概念信源剩余度信源剩余度153 信源熵和剩余度的概念信源熵和剩余度的概念＿英语信源＿英语信源154信源熵和剩余度的概念信源熵和剩余度的概念＿英语信源＿英语信源(续续)155小结小结n讨论了具有平稳性和遍历性的马尔可夫信源，了解马尔可夫信源极限熵的存在条件：信源的状态极限概率存在；给出了马尔可夫信源极限熵的求解方法。

n设计实际通信系统时，信源剩余度的存在对传输是不利的，应当尽量压缩信源剩余度，以使信源发出的每个符号携带的平均信息量最大反之，若考虑通信中的抗干扰问题时，则信源剩余度是有利的，常常人为的加入某种特殊的剩余度，以增强通信系统的抗干扰能力它们分别对应着后续章节的信源编码和信道编码156第第2章章 信源与熵信源与熵n2.0 信源分类n2.1 单符号离散信源n2.2 多符号离散信源n2.3 连续信源连续信源n2.3.1 连续信源与连续熵连续信源与连续熵n2.3.2 几种特殊连续信源的熵n2.3.3　连续熵的性质n2.3.4　熵功率　157随机波形信源n随随机机波波形形信信源源：：输出是时间和取值都连续的随机消息，可用随机过程 来描述，例如：语音、视频信号n相关概念：n样本函数n随机变量n概率密度函数n随机过程的平稳性n随机过程的遍历性 158随机过程的各态历经性(遍历性)159波形信源的离散化－＞连续信源波形信源的离散化－＞连续信源 n根据采样定理，对于时间受限于T，频率受限于F的连　续时间函数，可由2FT个采样值完整地描述，采样间隔　为 　　　　n通过采样，波形信源转化为时间离散，幅度连续的信源，对样本函数　 的描述转化为N维随机序列X，X由N＝2FT个随机变量组成。

n与单符号和多符号离散信源类似，连续信源也有单变　量（一维）和多变量（N维）之分这里只讨论单变量　连续信源对多变量连续信源，可以近似转换为无记　忆信源来处理 160连续随机变量的概率描述连续随机变量的概率描述 n单变量连续信源输出的消息取值是连续变化的，通常　用连续随机变量来描述这些连续变化的消息值n连续随机变量用各种概率密度函数概率密度函数来描述 n变量的一维概率密度函数（边缘概率密度函数） p(x)和p(y)n变量间的条件概率密度函数p(x/y)和p(y/x)n联合概率密度函数p(xy)n各种概率密度函数间的关系161单变量连续信源的模型单变量连续信源的模型n单变量连续信源的模型为单变量连续信源的模型为　　并满足 162连续信源的熵＿变量离散化连续信源的熵＿变量离散化n如果将连续随机变量看作是离散随机变量的极限情况，则我们可以这样来研究连续随机变量的信息熵n令连续随机变量X的取值区间是 ，把它分割成n个小区间,并且各小区间设为等宽 n那么X处于第i个小区间的概率是 n于是事件 的自信息量为163连续信源的熵＿绝对熵连续信源的熵＿绝对熵n变量离散化后的连续信源的熵为n当　　　　　　　时，得连续信源的熵为n式中第二项将趋于无穷大，这说明连续随机变量的潜在信息量是无连续随机变量的潜在信息量是无连续随机变量的潜在信息量是无连续随机变量的潜在信息量是无穷的穷的穷的穷的。

164连续信源的熵＿相对熵连续信源的熵＿相对熵n由于在比较两个事件的信息量的大小时，第二项常常被消去，因此去掉式中第二项定义连续随机变量的熵为n n这样定义的熵，常称为连续随机变量的相对连续随机变量的相对连续随机变量的相对连续随机变量的相对熵熵熵熵，或称微分熵，在不引起混淆的情况下简称为熵165相对熵的意义相对熵的意义n相对熵 不能像离散变量的情况那样，代表信源输出的信息n连续信源的真实熵是其绝对熵，除相对熵之外，还应有一个无穷大的常量，因而绝对熵一般趋于无穷大n相对熵 具有相对性在取两熵之间的差时，才具有信息的一般特征n相对熵 不能像离散熵那样充当集合中事件出现的不确定性的测度，但它还有许多和离散熵一样的性质，特别是相对熵的差值仍能像离散情况那样表征两个集之间的互信息量166联合熵和条件熵联合熵和条件熵n同样可以定义连续信源的联合熵和条件熵n对联合集XY，定义 　　为联合集XY的相对熵n定义联合集XY的（相对）条件熵为167第第2章章 信源与熵信源与熵n2.0 信源分类n2.1 单符号离散信源n2.2 多符号离散信源n2.3 连续信源连续信源n2.3.1 连续信源与连续熵n2.3.2 几种特殊连续信源的熵几种特殊连续信源的熵n2.3.3　连续熵的性质n2.3.4　熵功率　168几种特殊连续信源的熵几种特殊连续信源的熵＿＿均匀分布信源的熵均匀分布信源的熵n设X是在区间(a,b)内服从均匀分布的连续随机变量169几种特殊连续信源的熵几种特殊连续信源的熵＿＿高斯分布信源的熵高斯分布信源的熵170几种特殊连续信源的熵几种特殊连续信源的熵＿指数分布信源的熵＿指数分布信源的熵171第第2章章 信源与熵信源与熵n2.0 信源分类n2.1 单符号离散信源n2.2 多符号离散信源n2.3 连续信源连续信源n2.3.1 连续信源与连续熵n2.3.2 几种特殊连续信源的熵n2.3.3　　连续熵的性质连续熵的性质n2.3.4　熵功率　172连续熵的性质连续熵的性质n可负性n可加性n上凸性n不同限制下的最大连续熵定理173连续熵的性质连续熵的性质＿可加性可加性n类似于离散情况，相对熵间有关系： n当且仅当连续随机变量X和Y　统计独立时，两式中的等号成立。

174连续熵的性质连续熵的性质＿上凸性与最大连续熵定理上凸性与最大连续熵定理n上凸性：上凸性：n最大连续熵定理：最大连续熵定理：n峰值功率受限时＿均匀分布n定理：输出信号幅度受限条件下，对于服从均匀分布的随机变量X，具有最大输出熵n平均功率受限时＿高斯分布n定理：平均功率受限条件下，对于服从均值为m，方差为σ2的高斯分布的随机变量具有最大输出熵n均值受限时＿指数分布n定理：输出非负信号的均值受限条件下，具有指数分布的连续信源X具有最大熵值175第第2章章 信源与熵信源与熵n2.0 信源分类n2.1 单符号离散信源n2.2 多符号离散信源n2.3 连续信源连续信源n2.3.1 连续信源与连续熵n2.3.2 几种特殊连续信源的熵n2.3.3　连续熵的性质n2.3.4　　熵功率熵功率　176熵功率熵功率n熵功率是连续信源信息冗余度的表示熵功率是连续信源信息冗余度的表示177结论：结论：n对于平均功率受限的连续信源，信源的熵功对于平均功率受限的连续信源，信源的熵功率总是小于或等于其平均功率率总是小于或等于其平均功率n当且仅当信源为高斯信源时，熵功率与平均当且仅当信源为高斯信源时，熵功率与平均功率相等。

功率相等178例：求连续信源的熵例：求连续信源的熵179例题解答（例题解答（1 1）） 180例题解答（例题解答（2 2）） 181例题解答（例题解答（3 3））182例题解答（例题解答（4 4）） 183小结小结n连续随机变量的熵通常用相对熵表示连续随机变量的熵通常用相对熵表示n相对熵不能作为连续随机变量出现的不确定性的测度，但是相对熵不能作为连续随机变量出现的不确定性的测度，但是其差值仍可以表征两个连续随机变量集合之间的互信息量其差值仍可以表征两个连续随机变量集合之间的互信息量n连续消息每一样值的自信息量都是无限大，且量化前样值集连续消息每一样值的自信息量都是无限大，且量化前样值集合的幅度连续，有无限多幅度值但经量化后，样值集合的合的幅度连续，有无限多幅度值但经量化后，样值集合的幅度值变为有限，样值之间的差异也就变为有限反映在信幅度值变为有限，样值之间的差异也就变为有限反映在信息特性上，就是息特性上，就是相对熵相对熵，它仅与连续信源的概率密度有关，，它仅与连续信源的概率密度有关，它表征了具有不同概率密度的信源之间的平均信息量的差异它表征了具有不同概率密度的信源之间的平均信息量的差异。

n绝对熵具有明确的物理意义，但在分析信源的信息特性时并绝对熵具有明确的物理意义，但在分析信源的信息特性时并没有实际的意义，对于任一连续型随机变量，绝对熵都是无没有实际的意义，对于任一连续型随机变量，绝对熵都是无穷大，而相对熵具有比较的意义，穷大，而相对熵具有比较的意义，不同分布的随机变量，相不同分布的随机变量，相对熵也不同，因此，相对熵能够很好的量度连续信源的信息对熵也不同，因此，相对熵能够很好的量度连续信源的信息特性特性184。