《信源与信息熵》.ppt

第2章 信源与信息熵n信源描述与分类n离散信源的信息熵和互信息n离散序列信源的熵n连续信源的熵与互信息n冗余度n1精选ppt2.1信源的描述与分类n信源是产生消息（符号）、消息序列和连续消息的来源从数学上，由于消息的不确定性，因此，信源是产生随机变量、随机序列和随机过程的源n信源的基本特性是具有随机不确定性n2精选ppt2.1信源特性与分类n分类 时间 离散 连续 幅度 离散 连续 记忆 有 无 三大类： 单符号离散信源 符号序列信源（有记忆和无记忆） 连续信源n3精选ppt2.1信源描述与分类n描述：通过概率空间描述u单符号离散信源 例如：对二进制数字与数据信源n4精选ppt2.1信源描述与分类u连续信源n5精选ppt2.1信源描述与分类u离散序列信源 以3位PCM信源为例n6精选ppt2.1信源描述与分类 当p=1/2n7精选ppt2.2离散信源熵与互信息n信息量u自信息量u联合自信息量u条件自信息量n单符号离散信源熵u符号熵u条件熵u联合熵n8精选ppt2.2离散信源熵与互信息n信息n不确定性的消除n信息的度量n随机性、概率n相互独立符合事件概率相乘、信息相加n熵n事件集的平均不确定性n9精选ppt2.2离散信源熵与互信息G直观推导信息测度C信息I应该是消息概率p的递降函数C由两个不同的消息（相互统计独立）所提供的信息等于它们分别提供信息之和（可加性）n10精选ppt2.2离散信源熵与互信息l定义：对于给定的离散概率空间表示的信源，x=ai事件所对应的（自）信息为 以2为底，单位为比特（bit) 以e为底，单位为奈特（nat) 1nat=1.433bit 以10为底，单位为笛特（det) 1det=3.322bitn11精选ppt2.2离散信源熵与互信息l定义：联合概率空间中任一联合事件的联合（自）信息量为：l定义：联合概率空间中，事件x在事件y给定条件下的条件（自）信息量为：n12精选ppt2.2离散信源熵与互信息n联合自信息、条件自信息与自信息间的关系n13精选ppt2.2离散信源熵与互信息 例1 设在一正方形棋盘上共有64个方格，如果甲将一粒棋子随意地放在棋盘中的某方格内，让乙猜测棋子所在的位置： （1）将方格按顺序编号，令乙猜测棋子所在方格的顺序号 （2）将方格按行和列编号，甲将棋子所在的方格的行（或列）编号告诉乙，再令乙猜测棋子所在列（或行）所在的位置。

n14精选ppt2.2离散信源熵与互信息 解：由于甲将一粒棋子随意地放在棋盘中的某方格内，因此棋子在棋盘中所处位置为二维等概率分布 （1）联合（自）信息量为 （2）条件（自）信息量为n15精选ppt2.2离散信源熵与互信息 例2. 一个布袋内放100个球，其中80个球为红色，20球为白色若随机摸取一个球，猜测其颜色，求平均摸取一次所获得的（自）信息量 解：随机事件的概率空间为n16精选ppt2.2离散信源熵与互信息n17精选ppt2.2离散信源熵与互信息n单符号离散信源熵l定义：对于给定离散概率空间表示的信源所定义的随机变量I的数学期望为信源的信息熵，单位为比特/符号n18精选ppt2.2离散信源熵与互信息n离散信源条件熵l定义：对于给定离散概率空间表示的信源所定义的随机变量I（x/y)在集合X上的数学期望为给定y条件下信源的条件熵，单位为比特/序列n19精选ppt2.2离散信源熵与互信息n离散信源联合熵l定义：对于给定离散概率空间表示的信源所定义的随机变量I（x，y)的数学期望为集合X和集合Y的信源联合熵，单位为比特/序列n20精选ppt2.2离散信源熵与互信息n联合熵、条件熵与熵的关系n21精选ppt2.2离散信源熵与互信息n单符号离散信源互信息l定义：对于给定离散概率空间表示的信源，在出现y事件后所提供有关事件x的信息量定义互信息，单位为比特n22精选ppt2.2离散信源熵与互信息n单符号离散信源互信息n23精选ppt2.2离散信源熵与互信息n条件互信息量与联合互信息量l定义：对于给定离散概率空间表示的信源，在事件z给定条件下，事件x与事件y之间的条件互信息量为：n24精选ppt2.2离散信源熵与互信息n条件互信息量与联合互信息量l定义：对于给定离散概率空间表示的信源，在事件x与联合事件yz之间的联合互信息量为：n25精选ppt2.2离散信源熵与互信息nEg1(p23) 设信源发出8种消息符号，各消息等概发送，各符号分别用3位二进码元表示，并输出事件。

通过对输出事件的观察来推测信源的输出假设信源发出的消息x4，用二进码011表示， 接收到每个二进制码元后得到有关x4信息n26精选ppt2.2离散信源熵与互信息n27精选ppt2.2离散信源熵与互信息n平均互信息量 其中n28精选ppt2.2离散信源熵与互信息n熵的性质u对称性u非负性u确定性u香农辅助定理u最大熵定理u条件熵小于无条件熵n29精选ppt2.2离散信源熵与互信息n非负性n30精选ppt2.2离散信源熵与互信息n对称性n31精选ppt2.2离散信源熵与互信息n确定性 n香农辅助定理n32精选ppt2.2离散信源熵与互信息n最大熵定理 n条件熵小于无条件熵n33精选ppt2.2离散信源熵与互信息n平均互信息的性质u非负性u互易性u与熵和条件熵及联合熵关系u极值性u凸性函数性质u信息不增性原理n34精选ppt2.2离散信源熵与互信息n非负性n35精选ppt2.2离散信源熵与互信息n互易性n36精选ppt2.2离散信源熵与互信息n平均互信息与熵的关系n37精选ppt2.2离散信源熵与互信息n互信息量与熵的关系n38精选ppt2.2离散信源熵与互信息n极值性n39精选ppt2.2离散信源熵与互信息n凸性函数u当条件概率分布给定时，平均互信息量是输入概率分布的上凸函数u当集合X的概率分布保持不变时，平均互信息量是条件概率分布的下凸函数n40精选ppt2.2离散信源熵与互信息n信息不增性n41精选ppt 2.3离散序列信源的熵n离散无记忆序列信源n离散有记忆序列信源n马尔可夫信源n离散无记忆信源的序列熵n离散有记忆信源的序列熵n42精选ppt 2.3离散序列信源的熵n离散无记忆序列信源u布袋摸球实验，若每次取出两个球，由两个球的颜色组成的消息就是符号序列。

若先取出一个球，记下颜色放回布袋，再取另一个球n43精选ppt 2.3离散序列信源的熵n离散有记忆序列信源u布袋摸球实验，每次取出两个球，由两个球的颜色组成的消息就是符号序列若先取出一个球，记下颜色不放回布袋，再取另一个球n44精选ppt 2.3离散序列信源的熵n马尔可夫信源u当信源的记忆长度为m+1时，该时该发出的符号与前m个符号有关联性，而与更前面的符号无关n45精选ppt 2.3离散序列信源的熵n马尔可夫信源u由于高阶马尔可夫信源需要引入矢量进行分析，现方法将矢量转化为状态变量定义状态：u信源在某一时刻出现符号概率xj与信源此时所处状态si有关，用条件概率表示p(xj/si),状态转移概率表示为p(sj/si)n46精选ppt 2.3离散序列信源的熵n马尔可夫信源u更一般，经过n-m步后转移至sj的概率n47精选ppt 2.3离散序列信源的熵n马尔可夫信源u特别关心n-m=1情况，pij(m,m+1)n48精选ppt 2.3离散序列信源的熵n马尔可夫信源u系统在任一时刻可处于状态空间的任意一状态，状态转移时，转移概率是一个矩阵， 一步转移转移矩阵为n49精选ppt 2.3离散序列信源的熵n马尔可夫信源uk步转移概率pij(k)与l步和k-l步转移概率之间满足切普曼-柯尔莫郭洛夫方程。

u定义：如果从状态I转移到状态j的概率与m无关，则称这类MovKov链为齐次u对于齐次马尔可夫链，一步转移概率完全决定了k步转移概率n50精选ppt 2.3离散序列信源的熵n马尔可夫信源u定义：若齐次马尔可夫链对一切I,j存在不依赖于I的极限，则称其具有遍历性，pj称为平稳分布n51精选ppt 2.3离散序列信源的熵n马尔可夫信源u定理：设有一齐次马尔可夫链，其状态转移矩阵为P，其稳态分布为wjn52精选ppt 2.3离散序列信源的熵u不可约性，对于任意一对I和j， 都存在至少一个k，使pij(k)0.u非周期性，所有pij(n)0的n中没有比1大的公因子u定理：设P是某一马尔可夫链的状态转移矩阵，则该稳态分布存在的充要条件是存在一个正整数N，使矩阵PN中的所有元素均大于零n53精选ppt 2.3离散序列信源的熵nEg. 一个相对编码器，求平稳分布n54精选ppt 2.3离散序列信源的熵nEg. 二阶马氏链，X0,1,求平稳分布起始状态000110111/201/401/203/4001/301/502/304/5S1(00)S2(01)S3(10)S4(11)n55精选ppt 2.3离散序列信源的熵n离散无记忆信源的序列熵n56精选ppt 2.3离散序列信源的熵n离散无记忆信源的序列熵n平均每个符号熵（消息熵）n57精选ppt 2.3离散序列信源的熵n离散有记忆信源的序列熵和消息熵n58精选ppt 2.3离散序列信源的熵nEg 求信源的序列熵和平均符号熵 a1a2a3a1a2a39/111/802/113/42/901/87/9n59精选ppt 2.3离散序列信源的熵n离散有记忆信源的序列熵和消息熵结论1 是L的单调非增函数结论2结论3 是L的单调非增函数结论4n60精选ppt 2.3离散序列信源的熵n马氏链极限熵n61精选ppt 2.3离散序列信源的熵n62精选ppt 2.3离散序列信源的熵nEg 求马氏链平均符号熵（三个状态）n63精选ppt 2.4连续信源的熵与互信息n幅度连续的单个符号信源熵n64精选ppt 2.4连续信源的熵与互信息n幅度连续的单个符号信源熵n65精选ppt 2.4连续信源的熵与互信息n波形信源熵n66精选ppt 2.4连续信源的熵与互信息n最大熵定理n67精选ppt 2.4连续信源的熵与互信息n最大熵定理限平均功率最大熵定理：对于相关矩阵一定随机变量X，当它是正态分布时具有最大熵n68精选ppt 2.5冗余度n冗余度，表示给定信源在实际发出消息时所包含的多余信息。

它来自两个方面，一是信源符号间的相关性；二是信源符号分布的不均匀性n69精选ppt 2.5冗余度nEg. 计算英文字母冗余度n70精选ppt第2章复习 概念(1)n信息是可以定量描述的，可以比较大小由概率决定；n对应特定信源，可以求出所含不确定度，也就是消除不确定度所需的信息量；n可通过对信源的观察、测量获得信息，以减少对信源的不确定度；n71精选ppt概念(2)n考虑信源符号概率分布和符号之间的相关性，信源不确定度会下降： nH(X)就是信源无失真时必需输出的最小信息量；n72精选ppt概念(3)n通过传输，信宿可以得到信息I(X;Y)，从而减小对信源的不确定度：H(X/Y)=H(X)-I(X;Y)n信息通过系统传输，只会丢失信息，不会增加丢失部分H(X/Y)是由噪声引起的n73精选ppt定义、计算公式、相互关系n自信息量、信源熵、相对熵n互信息、条件熵、联合熵n序列熵、平均符号熵、极限熵n冗余度n74精选ppt。