信息论第2章节2010课件
110页1、第2章 离散信源及其信息度量,本章内容,2.1 信源的分类及描述 2.2 信源的数学模型 2.3 信息度量和信源熵 2.4信源熵的基本性质和定理 2.5 离散无记忆扩展信源 2.6 离散平稳信源 2.7 马尔可夫信源 2.8 信源的相关性和剩余度,2.1 信源的分类及描述,信源:是发出消息的源,信源的输出的是以符号形式出现的具体消息。,1)信源只输出一个消息符号 按信源发出的消息在时间和幅度上的分布来分类: 离散信源:符号集的取值是有限的。 连续信源:符号集的取值是无限的,即取值是连续的。,2)信源输出一系列符号序列 按信源发出的符号之间的关系来分类: 无记忆信源:信源发出的一个个消息符号彼此统计独立。 有记忆信源:信源发出的各消息符号之间有关联(比如马尔可夫信源)。,按信源的概率分布与时间起点的关系来分类: 平稳信源 非平稳信源,2.2 信源的数学模型,1、单符号离散信源的数学模型,2.3 离散信源信息的度量与信源熵,任何一个物理量的定义都应当符合客观规律和逻辑上的合理性,信息的度量也不例外。直观经验告诉我们: 消息中的信息量与消息发生的概率密切相关:出现消息出现的可能性越小,则消息
2、携带的信息量就越大。 如果事件发生是必然的(概率为1),则它含有的信息量应为零。如果一个几乎不可能事件发生了(概率趋于0),则它含有巨大的信息量。 如果我们得到不是由一个事件而是由若干个独立事件构成的消息,那么我们得到的信息量就是若干个独立事件的信息量的总和。,一、自信息量I(xi)和信息熵H(X),它的单位取决于上式中对数的底数a, 如果取对数的底a=2,则信息量的单位为比特(bit), 如果取对数的底a=e,则信息量的单位为奈特(nat), 如果取对数的底a=10,则信息量的单位为哈特(Hart),例: 已知二元信源输出“0”、“1”两种符号, (1)如果“0”、“1”出现概率相等,计算出现“0”的信息量; (2)如果“0”出现概率为1/3,计算出现“1”的信息量。 解:根据信息量的定义式,可以得到,自信息量的性质:,1)非负性。,2) 单调递减性。,3) 可加性。,2、平均自信息量H(X),是一个随机变量,它不能用来作为整个信源的信息度量。这样,我们引入平均自信息量来表述信源输出消息的不肯定性。,如果一个离散信源输出的消息符号集合为,信源输出的消息符号不同,所含有的信息量就不相同
3、,因此,自信息量,平均自信息量又称为信源熵、信息熵 或无条件熵。,平均信息量可以表示为:,2、平均自信息量H(X),1)单位:它的常用单位为bit/符号。,2)性质 H(X)非负:H(X)0 等号成立的充要条件是当且仅当对某i,pi=1,其余pk=0(ki) 可见:确定信源的熵等于0。,最大熵出现在等概情况下。,例题:设有一个三进制信源,每个符号发生的概率分别为p(x1)=1/2,p(x2)=p(x3)=1/4. 试计算: 符号x1包含的信息量为多少? 信源中每个符号平均包含的信息量? 信源每分钟输出3600个符号,通过理想信道传输,收信者每秒钟接收到多少信息量?,解:H(X)=H(1/2,1/4,1/4)=1.5bit/符号,等概时(p=0.5):随机变量具有最大的不确定性 p=0或1时:随机变量的不确定性消失。,例题:二元信源,每个符号发生的概率分别为p(x1)=p,p(x2)=1-p. 试计算信源熵,并画出熵函数H(p)和p的曲线图。,信息熵的物理意义 1)表示了信源输出前,信源的平均不确定性。 2)表示了信源输出后,每个消息或符号所提供的平均信息量。 3)信息熵反映了变量X的随
4、机性。,二、联合自信息量I(xi,yj)和联合熵H(X,Y),物理意义:一对元素(xi,yj)所含的信息量。,物理意义:每对元素(xi,yj)所含的平均信息量。,例题:联合符号集合(X,Y)上的每个元素对的联合概率如下,试计算: 符号对(x1,y2)包含的信息量为多少? 联合信源中平均每个符号对所包含的信息量?,解: I(x1,y2)=-log0.25=2bit H(X,Y)=H(0.25,0.25,0.25,0.25)=2bit/符号对,思考: 如何计算三个元素(xi,yj,zk)所含的信息量? 联合信源(X,Y,Z)平均每组符号包含的信息量? 更多元素包含的信息量?,三、条件自信息量I(xi/yj)和条件熵H(X/Y),性质: 非负 当且仅当p(xi/yj)=1时,I(xi/yj)=0 I(xi,yj)=I(yj)+I(xi/yj),物理意义: 表示在yj已知的条件下,出现符号xi所提供的信息量。 表示在给定yj条件下,仍对符号xi是否出现存在的不确定性。 如果信道输入为xi,信道输出为yj。 条件自信息量 表示收到消息yj之后,收信者仍对发送信源消息xi存在的不肯定性。 收信者通
《信息论第2章节2010课件》由会员E****分享,可在线阅读,更多相关《信息论第2章节2010课件》请在金锄头文库上搜索。
逍遥游复习 知识点整理
近现代法德关系史 高三展示课3稿
当代大学生人生信仰及追求的调查研究
长相思 纳兰性德-ppt课件
课件:危机意识 一
英语ppt演讲关于阿甘正传
发达国家基础教育改革的动向与趋势 修改版
中国民间美术 课件.ppt
生物质发电技术与系统 课程ppt 第1章 生物质发电技术现状及发展趋势 2学时 -----2016
现代信号处理思考题 含答案
执业药师继续教育 抑郁症的药物治疗 100分
小学生的成长档案模板不用修改 万能型
增订六版 现代汉语 上册 第二章文字 思考与练习答案
国家财政ppt课件
加拿大英语介绍
六年级统计图的选择课件
中学生成长档案ppt
中国现代文学史期末复习整理
lohi和hihilo训练对女子赛艇运动员运动能力影响的比较研究
风雨贾平凹阅读答案
2024-04-11 25页
2024-04-11 37页
2024-04-11 28页
2024-04-11 31页
2024-04-11 36页
2024-04-11 29页
2024-04-11 22页
2024-04-11 27页
2024-04-11 34页
2024-04-11 32页