信息论部分课件第四章率失真编码
58页1、第四章 率失真编码,主 讲: 易 波 老 师 博一工作室2010年V.1版,在允许一定程度失真的条件下,能够把信源信息压缩到什么程度,即最少需要多少比特数才能描述信源。也就是,在允许一定程度失真的条件下,如何能快速地传输信息。这就是本章将讨论的问题。 信息率失真理论是量化、数模转换、频带压缩和数据压缩的理论基础。 本章主要介绍信息率失真理论的基本内容,侧重讨论离散无记忆信源。首先给出信源的失真度和信息率失真函数的定义与性质,在这基础上论述率失真准则下的信源编码定理。,主要内容,1、有失真编码的目的 2、采用限失真编码的原因 3、失真测度 4、信息率失真函数及其性质 5、限失真信源编码定理,1、有失真编码的目的 在允许的失真范围内把编码后的信息率压缩到最小。如果限定失真范围,又称为限失真编码,编码后的信息率得到压缩。 2、采用限失真编码的原因 1)保熵编码并非总是必需的。 2)保熵编码并非总是可能的。 3)可降低信息率有利于传输和处理。,一般通信系统框图,根据信道编码定理,我们可以把信道编码、信道、信道译码(C点到F点)这三部分看成没有干扰的广义信道,这样收信者收到消息后所产生的失真(误
2、差)只是由信源编码带来的。,从直观感觉可知,若允许的失真越大,信息传输率可以越小;若允许的失真越小,信息传输率需越大。所以信息传输率与信源编码所引起的失真是有关的。,在限失真信源编码的情况下,信源的编译码会引起接收信息的错误,这一点与信道干扰引起的错误可作类比。为了便于讨论,我们将图中B点至G点全部略去,将信源的限失真编译码的效果等同于一个 “试验信道”。,4.1 失真度和平均失真度,对应于每一对(u,v),我们指定一个非负的函数,(4.1),称为单个符号的失真度(或称失真函数).用它来测度信源发出一个符号ui,而在接收端再现成接收符号集中一个符号vi,所引起的误差或失真。通常较小的d值代表较小的失真,而d(ui,vj)=0表示没有失真。 由于信源变量U有r个符号,而接收变量V有S个符号,所以d(ui,vj)就有rs个。这rs个非负的函数要吧排列成矩阵形式,即,(4.2),我们称它为失真矩阵D,它是r s阶矩阵.,例4.1 离散对称信源(r=s).信源变量U=u1,u2, ,us, 接收变量V=v1, v2, vs. 定义单个符号失真度,(4.3),它表示当再现的接收符号与发送的信源符
3、号相同时,就不存在失真和错误,所以失真度d(ui,vj)=0。,汉明失真矩阵D是一方阵,并且对角线上的元素为零,即,(4.4),对于二元对称信源(s=r=2),信源U=0,1,而接收变量V=0,1.在汉明失真定义下,失真矩阵为,即 d(0,0)=d(1,1)=0 d(0,1)=d(1,0)=1 它表示当发送信源符号0(或符号1)而接收后再的仍是符号0(或符号1)时,则认为无失真或无错误存在,例4.2 删除信源.信源U= u1,u2, ,ur,接收变量V= v1,v2, ,vs,s=r+1.定义它的单个符号失真度为,(4.5),其中二元删除信源r=2,s=3,U=0,1,V=0,1,2.失真度为,则得,例4.3 对称信源(r=s),信源U= u1,u2, ,ur,接收变量V= v1,v2, ,vs。失真度定义 d(ui,vj)=(vj- ui)2 (对所有i,j) (4.6) 当r=3时,U=0,1,2,V=0,1,2,则失真矩阵为,平均失真度,规定了单个符号失真度d(ui,vj)后,传输一个符号引起的平均失真,即信源平均失真度,其中E 是对U和V的联合空间求平均.若已知试验信道的传递概
4、率为P(vj|ui)时,则平失真度为,(4.7 ),设发送的信源序列为ai=(ui1, ui2, uiN),而再现的接收序列为j=(vj1, vj2, vjN),因此序列的失真度,(4.8 ),而对于N维信源符号序列的平均失真度,(4.9),也可以写成,(4.10),由此所得的信源平均失真度(单个符号的平均失真度),(4.11),当信源与信道都是无记忆时,N维信源序列的平均 失真度,(4.12),而信源的平均失真度,(4.13),其中/DL是信源序列第L个分量的平均失真度。如果离散信源是平稳信源,即有,则,即离散无记忆平稳信源通过无记忆的试验信道其信源序列的平均失真度等单个符号平均失真度的N倍。 若平均失真度/D不大于我们所允许的失真D,即 /D D (4.14) 我们称此为保真度准则.同理,N维信源序列的保真度准则应是平均失真度/D(N)不大于允许的失真ND,即 /D(N) ND (4.15) 凡满足保真度准则平均失真度/D D的这些实验信道称为D失真许可的试验信道。把所有D失真许可的试验信道组成一个集合,用符号BD表示,即 BD=P(vj|ui):/D D BD=P(j|ai):/
《信息论部分课件第四章率失真编码》由会员E****分享,可在线阅读,更多相关《信息论部分课件第四章率失真编码》请在金锄头文库上搜索。
逍遥游复习 知识点整理
近现代法德关系史 高三展示课3稿
当代大学生人生信仰及追求的调查研究
长相思 纳兰性德-ppt课件
课件:危机意识 一
英语ppt演讲关于阿甘正传
发达国家基础教育改革的动向与趋势 修改版
中国民间美术 课件.ppt
生物质发电技术与系统 课程ppt 第1章 生物质发电技术现状及发展趋势 2学时 -----2016
现代信号处理思考题 含答案
执业药师继续教育 抑郁症的药物治疗 100分
小学生的成长档案模板不用修改 万能型
增订六版 现代汉语 上册 第二章文字 思考与练习答案
国家财政ppt课件
加拿大英语介绍
六年级统计图的选择课件
中学生成长档案ppt
中国现代文学史期末复习整理
lohi和hihilo训练对女子赛艇运动员运动能力影响的比较研究
风雨贾平凹阅读答案
2024-03-21 39页
2024-03-21 41页
2024-03-21 40页
2024-03-21 34页
2024-03-21 33页
2024-03-21 35页
2024-03-21 21页
2024-03-21 45页
2024-03-21 33页
2024-02-20 85页