信息论部分课件第二章信息的度量
82页1、第二章 信息的度量,主 讲: 易 波 老 师 博一工作室2010年V.1版,信息的度量,信息的可度量性-建立信息论的基础; 信息度量的方法:结构度量统计度量语义度量模糊度量等; 统计度量:用事件统计发生概率的对数来描述事物的不确定性,得到消息的信息量,建立熵的概念; 熵概念是香农信息论最基本最重要的概念。,显然, 应满足 式中 是信源输出符号 的先验概率。,2.1 信源的分类 离散信源:可能输出的消息是有限的或可数的,每次只输出一个消息,即两两不相容。离散信源只涉及一个随机事件,可用离散随机变量来表示。 它的数学模型就是离散型的概率空间:,(2.1.1),(2.1.2),此式表示信源可能的消息(符号)数是有限的,只有q个:a1,a2,aq, 而且每次必定选取其中一个消息输出.满足完备集条件.这是最基本的离散信源.,连续信源: 可能输出的消息数是无限的或不可数的,每次只输出一个消息。其数学模型是连续型的概率空间:,(2.1.3),其中R表示实数集(-, ),P(x)是随机变量X的概率密度函数.上式也表示连续型概率空间满足完备集.,离散平稳信源:输出的随机序列 中每个随机变量取值是离散的,
2、并且随机矢量X的各维概率分布不随时间平移而改变。 连续平稳信源:输出的随机序列中每个随机变量取值是连续的,并且随机矢量X的各维概率密度函数不随时间平移而改变。,(2.1.5),若不同时刻的随机变量又取值于同一符号集 ,则有,其中 是N维随机矢量的一个取值,即 而P(aik)是符号集A的一维概率分布。 由符号集 与概率测度,我们称由信源空间X,P(x)描述的信源X为离散无记忆信源. 把这信源X所输出的随机矢量X所描述的信源称为离散无记忆信源X的N次扩展信源。,在某些简单的离散平稳信源情况下,信源先后发出的一个个符号彼此是统计独立的.也就是说信源输出的随机矢量X=(X1X2,XN)中,各随机变量Xi (i=1,2,N)之间是无依赖的、统计独立的,则N维随机矢量的联合概率分布满足:,因为信源是平稳的,根据平稳随机序列的统计特性可知,各变量Xi的一维概率分布都相同,即,则得,离散无记忆信源,离散无记忆信源:离散信源在不同时刻发出的符号之间是无依赖的,彼此统计独立的。 离散无记忆信源X的N次扩展信源:由离散无记忆信源输出N长的随机序列构成的信源。 数学模型:X信源空间的N重空间,(2.1.7),
3、离散无记忆信源的N次扩展信源的数学模型是X信源空间的N重空间:,(2.1.6),其中,并满足,有记忆信源:输出的随机序列X中各随机变量之间有依赖关系,但记忆长度有限。 m阶马尔可夫信源:信源每次发出的符号只与前m个符号有关,与更前面的符号无关。,随机变量之间依赖关系的条件概率为:,(2.1.8),信源输出的符号序列可看成为马尔可夫链,则此信源称为m阶马尔可夫信源. 时齐马尔可夫信源:上述条件概率与时间起点i无关 随机波形信源:信源输出的消息是时间(或空间)上和取值上都是连续的函数。可用随机过程来描述。,信源的分类图,2.2 信息的度量 信息如何测度呢?当人们收到一个电话,或听了广播 , 或看了电视,到底得到了什么信息量呢?显然,信息量与不确定性消除的程度有关。消除多少不确定性,就获得多少信息量。那么,不确定性的大小能度量吗? 用数学的语言来讲,不确定性就是随机性,具有不确定性的事件就是是随机事件。因此,可运用研究随机事件的数学工具概率论随机过程来测度不确定性的大小,若从直观概念来讲,事件确定性的大小可以直观地看成是事先猜测某随机事件是否发生的难易程度。,信息量直观地定义为: 收到某消息
4、获得的信息量(即收到某消息后获得关于某基本事件发生的信息量) =不确定性减少的量 =(收到此消息前关于某事件发生的不确定性)-(收到此信息后关于某事件发生的不确定性)。,在无噪声时,通过信道的传输,可以完全不失真地收到所发的消息,所以收到此消息后关于某事件发生的不确定性完全消除,此项为零,因此得: 收到某消息获得的信息量 =收到消息前关于某事件发生的不确定性 =信源输出的某消息中所含有的信息量.,某事件发生所含有信息量应该是该事件发生的先验概率的函数. I(ai)=f P(ai) (2.1) 式中P(ai)是事件ai发生的先验概率,而I (ai)表示事件ai发生所含有的信息量,我们称之为ai的自信息量。 根据客观事实和人们的习惯概念,函数f P(ai)应满足以下条件: (1) f(Pi)应是先验概率P(ai)的单调递减函数,即当P1(a1) P2(a2)时 f(P1)f(P2),自信息量,(2)当P(ai)=1时,f(Pi)=0 (3)当P(ai)=0时,f(Pi)= (4)两个独立事件的联合信息量应等于它们分别的信息量之和.即统计独立信源的信息量等于它们分别的信息量之和. IP(a1
《信息论部分课件第二章信息的度量》由会员E****分享,可在线阅读,更多相关《信息论部分课件第二章信息的度量》请在金锄头文库上搜索。
逍遥游复习 知识点整理
近现代法德关系史 高三展示课3稿
当代大学生人生信仰及追求的调查研究
长相思 纳兰性德-ppt课件
课件:危机意识 一
英语ppt演讲关于阿甘正传
发达国家基础教育改革的动向与趋势 修改版
中国民间美术 课件.ppt
生物质发电技术与系统 课程ppt 第1章 生物质发电技术现状及发展趋势 2学时 -----2016
现代信号处理思考题 含答案
执业药师继续教育 抑郁症的药物治疗 100分
小学生的成长档案模板不用修改 万能型
增订六版 现代汉语 上册 第二章文字 思考与练习答案
国家财政ppt课件
加拿大英语介绍
六年级统计图的选择课件
中学生成长档案ppt
中国现代文学史期末复习整理
lohi和hihilo训练对女子赛艇运动员运动能力影响的比较研究
风雨贾平凹阅读答案
2024-04-11 25页
2024-04-11 37页
2024-04-11 28页
2024-04-11 31页
2024-04-11 36页
2024-04-11 29页
2024-04-11 22页
2024-04-11 27页
2024-04-11 34页
2024-04-11 32页