3极限熵及马科夫信源
51页1、2.5 离散平稳信源,2.5.1 离散平稳信源的数学定义2.5.2 二维平稳信源及其信息熵2.5.3 离散平稳信源的极限熵,2.5.1 离散平稳信源的数学定义,实际情况下,离散信源的输出是空间或时间的离散符号序列,而且在序列中符号之间有依赖关系.此时可用随机矢量来描述信源发出的消息,即,其中任一变量Xi表示t=i时刻所发出的信号。信源在此时刻将要发出什么信号取决于以下两点:(1) 与信源在t=i时刻随机变量Xi的取值的概率分布P(Xi)有关。(2) 与t=i时刻以前信源发出的符号有关,即与条件概率 P(xi|xi-1xi-2) 有关,一般情况下,它也是时间t=i的函数,,如果信源分布与与时间无关,即时间的推移不引起信源统计特性的变化,设i、j为两任意时刻,若有,离散平稳信源的数学定义(1),具有这样性质的信源称为一维平稳信源,掷骰子掷5次后, 再掷第6次时,掷出的点数的概率分布与前5次的概率分布相同-平稳信源,离散平稳信源的数学定义(2),如果一维平稳信源的联合概率分布P(xixi+1)也与时间起点无关,即,(i、j为任意整数且ij),则信源称为二维平稳信源。 上述等式表示任何时刻信源
2、连续发出二个符号的联合概率分布也完全相等。,以此类推,如果各维联合概率分布均与时间起点无关,既当t=i, t=j(i、j为任意整数且ij)时有:,离散平稳信源的数学定义(3),2.5-1,那么,信源是完全平稳的。这种各维联合概率分布均与时间起点无关的完全平稳信源称为离散平稳信源。,因为联合概率与条件概率有以下关系:,离散平稳信源的数学定义(4),根据2.5-1式可得,注意: 平稳信源的条件概率与时间起点无关,只与关联长度N有关。如果某时刻发出什么信号与前发出的N个符号有关,那么任何时刻他们的依赖关系是一样的。,2.5.2 二维平稳信源及其信息熵,二维平稳信源满足以下条件:,设有离散一维信源的概率空间为:,二维平稳信源的信息熵(1),由此一维信源组成的二维信源的概率空间为:,同时还已知连续两个信源符号出现的联合概率分布P(aiaj) (i, j=1,2, q) ,并有:,根据信息熵的定义可求得此信源的信息熵为:,二维平稳信源的信息熵(2),我们把H(X1X2)称为X1X2的联合熵。此值表示原来信源X输出任意一对消息的共熵,即描述信源X输出长度为2的序列的平均不确定性,或者是信息量。,因为
3、信源X发出的符号序列中前后两个符号之间有依赖性,所以首先可以求得已知前面一个符号X1=ai信源输出下一个符号的平均不确定性。 以下表所示的信源为例,二维平稳信源的信息熵(3),所以,已知前面一个符号X1=ai信源输出下一个符号的平均不确定性,即信息熵为:,上式是对下一个符号aj的可能取值进行统计平均。而前一个符号X1取值范围是a1,a2,a3,a4中的任一个。对于某一个ai存在一个平均不确定性H(X2|X1=ai)。对所有ai的可能值进行统计平均就得当前面一个符号已知时,再输出后面一个符号的总的平均不确定性,二维平稳信源的信息熵(4),此值为二维平稳信源的条件熵,根据概率关系展开式,我们可以得到联合熵与条件熵的关系式,二维平稳信源的信息熵(5),根据概率关系展开式,我们可以得到联合熵与条件熵的关系式,而上式中的第一项可变换为:,二维平稳信源的信息熵(6),从上面的推导得: H(X1X2)=H(X1)+H(X2|X1),物理意义:联合熵等于前一个符号出现的熵加上前一个符号已知时后一个符号出现的条件熵。 这就是熵的强可加性。,同理可以证明: H(X1X2)=H(X2)+H(X1|X2),二
《3极限熵及马科夫信源》由会员野鹰分享,可在线阅读,更多相关《3极限熵及马科夫信源》请在金锄头文库上搜索。
基本概念交流材料 莱阳一中刘辛凤2
2013届高考化学第一轮考点总复习课件5 溶液与胶体
2.1物质的分类
直流远供电源系统
直流电机及单相电机
电路分析(相量法)
机械制造技术第3章 -- 机械零件加工方法与设备
电荷及其守恒定律(经典)
机械创新-幻·梦课堂
电气识图及其标准解读
电工技能培训讲堂1
电子商务物流成本管理
电压表电路连接练习1011 - 副本
生物:第7章《现代生物进化理论》课件(新人教版必修2)
生本课堂教学模式
物理:16.2《探究电动机的转动原理》课件1(沪粤版九年级下)
物理选修3-2第一章第1节教学课件
物理化学电子教案9
物理化学 08章_电解质溶液
工业机器人发展及应用
2023-11-20 52页
2023-09-09 54页
2023-09-09 98页
2023-09-09 101页
2023-09-09 95页
2023-09-09 127页
2023-09-09 59页
2023-09-09 50页
2023-09-09 139页
2023-09-09 131页