liyang-信源及信源熵课件.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,信源及信源熵,李扬,信源及信源熵李扬,1,目录,信息论中的信源,信源的描述和分类,信源熵,离散与连续信源熵,熵的性质,目录信息论中的信源,2,信息论中的信源,信源是产生消息（符号）、消息序列和连续消息的来源信源具有不确定性和随机性，任何已知的消息无信息可言不确定的符号有统计规律性，可以用随机变量、随机矢量、随机过程来描述、研究信息论中的信源信源是产生消息（符号）、消息序列和连续消息的来,3,信源的描述和分类,信源的分类有多种方式,消息在,时间,上,和,幅度,上,分布情况,离散信源（时间、幅度都离散）,连续信源（时间或是幅度上连续）,例子,离散 文字 数字 数据,连续 语音 图像等,信源的描述和分类信源的分类有多种方式,4,信源的描述和分类,按照信源发出的信号间关系,无,记忆信源：发出单个符号的无记忆信源,发出符号序列的无记忆信源,有记忆信源,：,发出符号序列的有记忆信源,发出符号序列的有记忆信源,信源的描述和分类按照信源发出的信号间关系,5,信源的描述和分类,例子,无记忆，有放回的摸球、掷骰子，二进制,两次取球的结果是无关的独立的，无统计 关联性，出现的概率是先验概率；,有记忆，无放回的取球,两次取球的结果有关联；,信源的描述和分类例子,6,独立同分布信源,在离散无记忆信源中，信源输出的每个符号是统计独立的，且具有相同的概率空间，即有,p1(X1)=p(X1)=p(Xi),则该信源是离散平稳无记忆信源，亦称为独立同分布(independently identical distribution，i.i.d.),信源。

马尔科夫信源,当信源的记忆长度为m+1时，该时刻发出的符号与前m个符号有关联性，而与更前面的符号无关独立同分布信源,7,通过概率空间描述,信源,单符号信源：是最简单也是最基本的信源，是组成实际信源的基本单元信源每次输出一个符号，通常用离散随机变量和其概率分布来表示通过概率空间描述信源 单符号信源：是最简单也是最基本的信源,8,多符号信源：信源每次发出一个符号序列，用随机矢量来表示多符号信源：信源每次发出一个符号序列，用随机矢量来表示,9,连续信源,概率密度函数,显然应满足,连续信源,10,马尔科夫信源,若信源在某一时刻发出的符号概率除与该符号有关外，还与此前的符号有关，则此类信源为有记忆信源如果与前面无限个符号有关，为无限记忆信源；如果仅与前面有限个符号有关，为有限记忆信源有记忆信源序列的联合概率与条件概率有关,没写完马氏链？,马尔科夫信源,11,信源的概率空间可以表示为,但在何时发出哪种符号，是不确定的定义,概率为,p(x)的符号,自信息量为,自信息量的单位与所用对数的底有关：,对数底为2时，单位是比特,（bit）,对数底是自然数e时，单位是奈特,(nat),对数底是10时，单位是,笛特(det),自信息量,三个单位间的转换关系为,1nat=1.433bit,1det=3.322bit,信源的概率空间可以表示为自信息量三个单位间的转换关系为,12,例：英文字母中“e”出现的概率为0.105，“c”出现的概率为0.023，“o”出现的概率为0.001。

分别计算它们的自信息量解：,“e”的自信息量 I(e)=log2 0.105=3.25 bit,“c”的自信息量 I(c)=log2 0.023=5.44 bit,“o”的自信息量 I(o)=log2 0.0019.97 bit,例：英文字母中“e”出现的概率为0.105，“c”出现的概,13,定义：联合概率空间中任一联合事件的联合（自）信息量为：,定义：联合概率空间中，事件x在事件y给定条件下的条件（自）信息量为：,liyang-信源及信源熵课件,14,联合自信息、条件自信息与自信息间的关系,联合自信息、条件自信息与自信息间的关系,15,自信息量表征各个符号的不确定度，信源总是包含着多个符号，各符号的自信息量不同，自信息量不能作为总体的信息度量为了表征出信源的总体特征，我们引入了平均自信息量，即平均每个符号的所能提供的信息量，也是,信源中各个符号自信息量的数学期望，称为信源熵表达式为,单位为bit/符号,例子,自信息量表征各个符号的不确定度，信源总是包含着多个,16,条件熵定义：对于给定离散概率空间表示的信源所定义的随机变量I（x/y)在集合X上的数学期望为给定y条件下信源的条件熵,联合熵定义：对于给定离散概率空间表示的信源所定义的随机变量I（x，y)的数学期望为集合X和集合Y的信源联合熵,条件熵定义：对于给定离散概率空间表示的信源所定义的随机变量I,17,联合熵、条件熵与熵的关系,联合熵、条件熵与熵的关系,18,连续信源单个符号信源熵,讨论连续时我们往往用离散来逼近连续，有公式,连续信源单个符号信源熵,19,波形信源的熵,波形信源的熵,20,信源熵的性质,信源熵的性质,21,liyang-信源及信源熵课件,22,7、扩展性,8、可加性,9、递增性,这条性质表明，若原信源X中有一元素划分成m个元素（符号），而这m个元素的概率之和等于原元素的概率，则新信源的熵增加。

7、扩展性,23,离散有记忆信源熵，只讨论有价值的某些特殊情况,对于只有两个符号组成的联合信源,1)H（XY）H（X）H（YX）,2)H（XY）H（Y）H（XY）,离散有记忆信源熵，只讨论有价值的某些特殊情况,24,谢谢！,谢谢！,25,。