信息论课件chap2信源及其熵
174页1、1,第二章 信源及其熵,并不是我们注意到的每一件事都重要,也不是每一件重要的事我们都注意到了。 -爱因斯坦(1879-1955),2,本章介绍,信源的统计特性和数学模型 各类信源的信息测度-熵及其性质,3,第一章知识回顾,通信系统模型:,4,2.1 信源的数学模型及分类,对信息论的学习可从信源开始 消息是信息的载荷者。信息是抽象的,消息是具体的。要研究信息,还得从研究消息入手。 描述信源消息的工具 由于信源发送什么消息预先是不可知的,我们借助于一个样本空间及其概率测度-概率空间来描述信源。,5,2.1.1 信源的数学模型,用概率空间描述信源 或 式中X为信源,p(x)为信源符号出现的概率。,6,2.1.2 信源的分类,按照信源发出的消息在时间和幅度上的分布情况,将:,信源,离散信源,连续信源,7,离散信源,离散信源是指信源发出在时间和幅度上都是离散消息的信源。 按照离散信源发出的符号之间的关系,可细分为:,举例,j g a f g k h z,kugf uosd fawe uryn vapa iqpo dfna sdhg,cont ente d wit h little yet wis
2、h ing for more,city face with namehand from high that,9,(1)单个符号的离散无记忆信源,从讨论信源的特征入手,给出定量度量信息的方法。 以天文学范畴的事件为例: 小行星撞击地球、月食、日食、流星雨、星系的产生与消亡等等,都是天文学内一个个离散的事件 如果将一个事件用一个符号来表示,则一个符号代表一个完整的消息 如果把都是天文学内的事件看作是天文学这个“信源”输出的符号,则这个信源可以看作是单符号离散信源。,10,(1)单个符号的离散无记忆信源,单符号离散信源的实例 掷骰子每次只能是1,2,3,4,5,6中的某一个; 天气预报可能是晴、阴、雨、雪、风、冰雹中的一种或其组合以及温度、污染等; 二进制通信中传输的只是1、0两个数字;等等。,11,(1)单个符号的离散无记忆信源, 这种符号或数字都可以看作某一集合中的事件,每个符号或数字(事件)都是信源中的元素,它们的出现往往具有一定的概率。 因此,信源又可以看作是具有一定概率分布的某一符号集合。 特点:输出是单个符号(代码)的消息,符号集的取值A:a1,a2,aq是有限的或可数的,可用一
3、维离散型随机变量X来描述。,12,(1)单个符号的离散无记忆信源,数学模型:设每个信源符号ai出现的(先验)概率 p(ai) (i=1,2,q) 满足:,概率空间能表征离散信源的统计特性,因此也称概率空间为信源空间。,13,举例,例:某信源发出0,1信号,p(0)=1/2,p(1)=1/2, 如果是发出单个符号的无记忆信源,14,(2)符号序列的离散无记忆信源,特点:信源输出的是多个消息符号,即输出符号序列,就要用随机矢量 X=(X1,X2,XN) 来描述,也称随机序列。 进一步:若随机矢量X的各维概率分布都与时间起点无关 ,则为离散平稳信源; 再进一步:离散平稳信源的特例,信源发出的符号都相互统计独立,即各随机变量Xi (i=1,2,N)之间统计独立;,15,(2)符号序列的离散无记忆信源,性质: 独立P (X )= P (X1, X2, ,XN)= P1(X1) P2(X2) PN(XN) 平稳 P1 (Xi) = P2 (Xi)= = PN (Xi) ,16,(2)符号序列的离散无记忆信源,N维随机矢量的一个取值,i(ai1 ai2aiN),P(aik )是符号集A的一维概率分布
4、,设各随机变量Xi取值同样符号集A:a1,a2,aq,则,17,(2)符号序列的离散无记忆信源,例:某信源副发出0,1信号,p(0)=1/2,p(1)=1/2, 如果是发出单个符号的无记忆信源,18,(2)符号序列的离散无记忆信源,如果是发出符号长度为2的符号序列的无记忆信源。 样本空间中不再是单个变量,而是随机矢量:A=(0,0),(0,1),(1,0),(1,1) 信源模型如下:,19,(2)符号序列的离散无记忆信源,因为是无记忆符号信源,所以各个符号序列的计算,所以本信源模型如下:,20,若信源空间 描述的信源X的各输出Xi间统计独立、且取值同一符号集A,则X为离散无记忆信源,称该信源输出的N维随机矢量X 为离散无记忆信源X的N次扩展信源,(2)符号序列的离散无记忆信源,21,若X 取值为符号集i (ai1ai2aiN), 其中(i1 , i2 ,iN =1,2 , ,q),则离散无记忆信源的N次扩展信源的数学模型是X信源空间的N重空间:,(2)符号序列的离散无记忆信源,22,(3)有记忆信源,有记忆信源定义:信源不同时刻发出的符号之间是相互依赖; 需要在维随机变量的联合概率密度
《信息论课件chap2信源及其熵》由会员E****分享,可在线阅读,更多相关《信息论课件chap2信源及其熵》请在金锄头文库上搜索。
逍遥游复习 知识点整理
近现代法德关系史 高三展示课3稿
当代大学生人生信仰及追求的调查研究
长相思 纳兰性德-ppt课件
课件:危机意识 一
英语ppt演讲关于阿甘正传
发达国家基础教育改革的动向与趋势 修改版
中国民间美术 课件.ppt
生物质发电技术与系统 课程ppt 第1章 生物质发电技术现状及发展趋势 2学时 -----2016
现代信号处理思考题 含答案
执业药师继续教育 抑郁症的药物治疗 100分
小学生的成长档案模板不用修改 万能型
增订六版 现代汉语 上册 第二章文字 思考与练习答案
国家财政ppt课件
加拿大英语介绍
六年级统计图的选择课件
中学生成长档案ppt
中国现代文学史期末复习整理
lohi和hihilo训练对女子赛艇运动员运动能力影响的比较研究
风雨贾平凹阅读答案
2024-04-11 25页
2024-04-11 37页
2024-04-11 28页
2024-04-11 31页
2024-04-11 36页
2024-04-11 29页
2024-04-11 22页
2024-04-11 27页
2024-04-11 34页
2024-04-11 32页