您所在位置：网站首页 > 高等教育 > 大学课件 > 渐近均分性与香农第一定理

渐近均分性与香农第一定理.ppt

31页

卖家[上传人]：xiao****1972

文档编号：73600859

上传时间：2019-01-25

文档格式：PPT

文档大小：756.81KB

文档加载中……请稍候！
如果长时间未打开，您也可以点击刷新试试。

下载文档到电脑，查找使用更方便

16金贝

下载

/ 31 举报版权申诉马上下载

文本预览

下载提示

常见问题

第3章渐近均分性与香农第一定理,n次扩展信源有什么特性？香农第一定理明确了什么？,3.1 n次扩展信源,定义,多符号离散信源对任意两个不同时间起点k和1，概率及直到n维的各维联合概率相同,1、n维离散平稳信源,2、n维离散平稳信源的联合熵,定义,n维离散平稳信源的符号序列中各符号相互独立,3、n维离散平稳无记忆信源/n次扩展信源,表示,n维离散平稳无记忆信源——独立同分布，相当于单符号离散信源的n次扩展信源,4、n次扩展信源的联合熵,例1,二次扩展信源及联合熵,二次扩展信源,二次扩展信源的联合熵,3.2 渐近均分性定理,1、n次扩展信源的渐进均分性,例1,二次、三次和四次扩展信源的概率分布特点,二次扩展信源的概率分布,三次扩展信源的概率分布,四次扩展信源的概率分布,n次扩展信源的符号序列分为两组，n越大，其中一组的概率之和越接近1，概率相差越小——渐进均分性,2、渐进均分性定理,n次扩展信源的典型序列，任意给定ε0，当n足够大,定理,当n足够大,由大数定理,典型序列的联合自信息等于联合熵——典型序列等概率,不满足该式的符号序列——非典型序列,推论1,推论2,3.3 香农第一定理,定理,(1)正定理,当n足够大，n次扩展信源的符号序列划分为典型序列与非典型序列，典型序列的数量,无失真编码——保证对典型序列进行一一对应的编码,无失真编码的码字数量,(2)逆定理,必然有部分典型序列没有对应的码字,有一一对应码字的这些典型序列的编码无失真，它们的概率之和为译码正确概率1-Pe,译码错误概率,香农第一定理表明了n次扩展信源无失真信源编码的存在性，明确了熵H(X)是无失真信源编码平均码率的下界——香农界,。

点击阅读更多内容

相关文档