信息论部分课件第二章信息的度量

第二章 信息的度量,主 讲： 易 波 老 师 博一工作室2010年V.1版,信息的度量,信息的可度量性-建立信息论的基础； 信息度量的方法:结构度量统计度量语义度量模糊度量等； 统计度量：用事件统计发生概率的对数来描述事物的不确定性，得到消息的信息量，建立熵的概念； 熵概念是香农信息论最基本最重要的概念。,显然， 应满足 式中 是信源输出符号 的先验概率。,2.1 信源的分类 离散信源：可能输出的消息是有限的或可数的，每次只输出一个消息，即两两不相容。离散信源只涉及一个随机事件，可用离散随机变量来表示。 它的数学模型就是离散型的概率空间:,(2.1.1),(2.1.2),此式表示信源可能的消息(符号)数是有限的,只有q个:a1,a2,aq, 而且每次必定选取其中一个消息输出.满足完备集条件.这是最基本的离散信源.,连续信源: 可能输出的消息数是无限的或不可数的，每次只输出一个消息。其数学模型是连续型的概率空间:,(2.1.3),其中R表示实数集(-, ),P(x)是随机变量X的概率密度函数.上式也表示连续型概率空间满足完备集.,离散平稳信源：输出的随机序列 中每个随机变量取值是离散的，并且随机矢量X的各维概率分布不随时间平移而改变。 连续平稳信源：输出的随机序列中每个随机变量取值是连续的，并且随机矢量X的各维概率密度函数不随时间平移而改变。,(2.1.5),若不同时刻的随机变量又取值于同一符号集 ，则有,其中 是N维随机矢量的一个取值，即 而P（aik）是符号集A的一维概率分布。 由符号集 与概率测度,我们称由信源空间X,P(x)描述的信源X为离散无记忆信源. 把这信源X所输出的随机矢量X所描述的信源称为离散无记忆信源X的N次扩展信源。,在某些简单的离散平稳信源情况下,信源先后发出的一个个符号彼此是统计独立的.也就是说信源输出的随机矢量X=(X1X2,XN)中,各随机变量Xi (i=1,2,N)之间是无依赖的、统计独立的，则N维随机矢量的联合概率分布满足：,因为信源是平稳的，根据平稳随机序列的统计特性可知，各变量Xi的一维概率分布都相同，即,则得,离散无记忆信源,离散无记忆信源：离散信源在不同时刻发出的符号之间是无依赖的，彼此统计独立的。 离散无记忆信源X的N次扩展信源：由离散无记忆信源输出N长的随机序列构成的信源。 数学模型：X信源空间的N重空间,(2.1.7),离散无记忆信源的N次扩展信源的数学模型是X信源空间的N重空间：,(2.1.6),其中,并满足,有记忆信源：输出的随机序列X中各随机变量之间有依赖关系，但记忆长度有限。 m阶马尔可夫信源：信源每次发出的符号只与前m个符号有关，与更前面的符号无关。,随机变量之间依赖关系的条件概率为：,(2.1.8),信源输出的符号序列可看成为马尔可夫链,则此信源称为m阶马尔可夫信源. 时齐马尔可夫信源:上述条件概率与时间起点i无关 随机波形信源：信源输出的消息是时间（或空间）上和取值上都是连续的函数。可用随机过程来描述。,信源的分类图,2.2 信息的度量 信息如何测度呢？当人们收到一个电话，或听了广播 , 或看了电视,到底得到了什么信息量呢？显然,信息量与不确定性消除的程度有关。消除多少不确定性,就获得多少信息量。那么,不确定性的大小能度量吗？ 用数学的语言来讲，不确定性就是随机性，具有不确定性的事件就是是随机事件。因此,可运用研究随机事件的数学工具概率论随机过程来测度不确定性的大小,若从直观概念来讲,事件确定性的大小可以直观地看成是事先猜测某随机事件是否发生的难易程度。,信息量直观地定义为: 收到某消息获得的信息量(即收到某消息后获得关于某基本事件发生的信息量) =不确定性减少的量 =(收到此消息前关于某事件发生的不确定性)-(收到此信息后关于某事件发生的不确定性)。,在无噪声时,通过信道的传输,可以完全不失真地收到所发的消息,所以收到此消息后关于某事件发生的不确定性完全消除,此项为零,因此得: 收到某消息获得的信息量 =收到消息前关于某事件发生的不确定性 =信源输出的某消息中所含有的信息量.,某事件发生所含有信息量应该是该事件发生的先验概率的函数. I(ai)=f P(ai) (2.1) 式中P(ai)是事件ai发生的先验概率,而I (ai)表示事件ai发生所含有的信息量,我们称之为ai的自信息量。 根据客观事实和人们的习惯概念,函数f P(ai)应满足以下条件: (1) f(Pi)应是先验概率P(ai)的单调递减函数,即当P1(a1) P2(a2)时 f(P1)f(P2),自信息量,(2)当P(ai)=1时,f(Pi)=0 (3)当P(ai)=0时,f(Pi)= (4)两个独立事件的联合信息量应等于它们分别的信息量之和.即统计独立信源的信息量等于它们分别的信息量之和. IP(a1) P(a2) = IP(a1) +IP(a2) + 根据上述条件可以从数学上证明这种函数形式是对数形式,即,(2.2),自信息采用的单位取决于对数所选取的底.如果取以2为底,则所得的信息量单位称为比特(bit,binary unit的缩写).即,如果采用以e为底的自然对数,则所得的信息量单位称为奈特(nat,nature unit的缩写), 即,(比特),（奈特）,若采用以10为底的对数,则所得的信息量单位称为哈特(Hart,Hartley的缩写,以纪念哈特莱首先提出用对数来度量信息),即,一般情况,如果取以r为底的对数,(r1)则,根据对数换底关系有,得 1奈特=1.44比特,1哈特=3.32比特。 以后，一般采用以2为底的对数，且为了书写简洁，把底数“2”略去不写,(哈特),(r进制单位),例1：设英文字母e出现的概率为0.105,z出现的概率为0.001,求英文字母e和z的信息量。 I(e)= - log 0.105=3.24 (bit) I(z)= - log0.001= 9.97 (bit),例2 假设一条电线上串联了8个灯泡x1,x2,x8如图1所示.这8个灯泡损坏的可能性是等概率的,现假设这8个灯泡中有一个也只有一个灯泡已损坏,致使串联灯泡都不能点亮.在未检查之间,我们不知道哪个灯泡xi已损坏,是不知的、不确定的.我们只有通过检查,用万用表去测量电路有否断电路,获得足够的信息量,才能获知和确定哪个灯泡xi已损坏.,一般最简单的办法是: 第一次用万用表测量电路起始至中间端一段的阻值。 第一次测量获得的信息量： IP1(x)-I P2(x) 第二次测量只需在4个灯泡中进行,仍用万用表测量电路起始至2个灯泡的中端(假设第一次测量已知左边不通,若右边不通也只需在后面测量),根据通与不通就可知是哪两个灯泡中有可能坏的.,第二次测量后变成猜测2个灯泡中哪一个是损坏的情况了,这时后验概率为P3(x)=1/2.因此,尚存在的不确定性是IP3(x),第二次测量所获得的信息量: =IP2(x)-IP3(x) 第三次数测量只需在2个灯泡中进行.如上图所示. 第三次测量获得的信息量: IP3(x)-0= IP3(x),根据后面分析可知,这函数IP(x)=log1/P(x).若取对数以2为底,计算得 第一次测量获得的信息量 =log21/P1(x)- log21/P2(x)=1(bit) 第二次测量获得的信息量 =log21/P2(x)- log21/P3(x)=1(bit) 第三次测量获得的信息量 =log21/P3(x) =1(bit) 因此,要从8个等可能损坏的串联灯泡中确定哪个灯泡是坏的,至少要获得3个bit的信息量.否则,是无法确切知道哪个灯泡已坏了.,联合自信息量,信源模型(涉及两个随机事件),联合自信息量,定义联合自信息量为：,(2.3),条件自信息量 条件概率对数的负值 在特定条件下(yj 已定)随机事件xi发生所带来的信息量 定义 联合自信息量和条件自信息量也满足非负和单调递减性。 当X和Y独立时，,（2.4）,信源发出消息xi的概率p(xi)称为先验概率，信宿收到yi推测信源发出xi的概率称为后验概率。 定义:后验概率与先验概率比值的对数为yi对xi的互信息量， 用 表示，即 互信息量等于自信息量减去条件自信息量。 第三种表达方式：,互信息量和条件互信息量,(2.5),(2.6),(2.7),互信息的性质 对称性 当X和Y相互独立时，互信息为0 互信息量可为正值或负值 条件互信息量 给定条件 下， 与 之间的互信息量，其定义式,(2.8),例4 设在甲布袋中,放入n个不同阻值的电阻.如果随意选取出一个,并对取出的电阻值进行事先猜测,其猜测的困难程度相当于概率空间的不确定性.甲布袋的概率空间为,其中ai代表阻,P(ai)是选取出阻值为I电阻的概率.为简单便起见,假设电阻选取的概率是相等的,则P(ai)=1/n i=1,2,n.,那么,接收到“选取出阻值为i的电阻”所获得的信息量为,其次,设在乙布袋中,放入按功率划分m种不同功率的电阻.如果对任意选取出来的功率值进行事先猜测,那么,可看成为另一概率空间,其中bj代表功率为j的电阻,P(bj)是选取出功率为j的电阻的概率.此处仍然假设m种不同功率的选择也是等概率的,则被告知“选取出功率为j的电阻”所获得的信息量为,这两个函数 和 应该是同一类函数。,若再设在第三个布袋中,放入有n种不同阻值,而每一种阻值又有m种不同功率的电阻,即共有nm个电阻.并设它们的选取也是等可能性的,那么,新的概率空间为,则“选出阻值为i,功率为j的电阻”这一事件提供的信息量应为,这是一个简单的泛函方程,可以解得满足条件的函数形式为,显然满足：,可以验证：,因此,“选取出阻值为i,功率为j的电阻”这事件提供的信息量应该是“选取出阻值为i”和“选取出功率为j”这两事件提供的信息量之和,即,又,2.3 离散信源的信息熵,对于一般实际输出为单个符号的离散信源都可用一维随机变量X来描述信源的输出,信源的数学模型统一抽象为,(2.10),其中,(2.9),平均自信息量,我们定义自信息的数学期望为信源的平均信息量,即,(2.11),借用“熵”这个词把H(X)称为熵.有时为了区别,称为信息熵.信息熵的单位由自信息的单位来决定,即取决于对数选取的底.如果选取以r为底的对数,那么,信息熵选用r进制单位,即,(2.12),（r进制单位/符号）,一般选用以2为底时,信息熵写成H(X)形式,其中变量X是指某随机变量的整体.,r进制信息熵Hr(X)与二进制信息熵H(X)的关系是,(2.13),例5 有一布袋内放100个球,其中80个球是红色的, 20个球是白色的.若随意摸取一个球,猜测是什么颜色,这一随机事件的概率空间为,其中：a1表示摸出的是红球； a2表示摸出的是白球。 如果被告知摸出的是红球，那么获得的信息量是：,如被告知摸出的是白球,所获得的信息量应为,则摸取n次后总共所获得的信息量为,这样,平均摸取一次所能获得的信息量约为,显然,这就是信源X的信息熵H(X)。因此信息熵是从平均意义上来表征信源的总体信息测度的一个量.,信息熵具有以下三种物理含意: 第一,信息熵H(X)是表示信源输出 后,每信消息(或符号)所提供的平均信息量. 第二,信息熵H(X)是表示信源输出前,信源的平均不确定性.例如有两个信源,其概率空间分别,则信息熵分别为,可见,信源Y比信源X的平均不确定性要大.第三，用信息熵H(X)来表征变量X的随机性.,（比特/符号）,（比特/符号）,例2 假设一条电线上串联了8个灯泡x1,x2,x8如图1所示.这8个灯泡损坏的可能性是等概率的,现假设这8个灯泡中有一个也只有一个灯泡已损坏,致使串联灯泡都不能点亮.在未检查之间,我们不知道哪个灯泡xi已损坏,是