南京邮电大学信息基础课程之《信息论与编码》 曹雪虹
1,第4章 信息率失真函数,本章主要讨论在信源允许一定失真情况下所需的最少信息率,从分析失真函数、平均失真出发,求出信息率失真函数R(D) 。 4.1 平均失真和信息率失真函数 4.2 离散信源和连续信源的R(D)计算,2,4.1 平均失真和信息率失真函数,4.1.1 失真函数 4.1.2 平均失真 4.1.3 信息率失真函数R(D) 4.1.4 信息率失真函数的性质,3,4.1 平均失真和信息率失真函数,在实际问题中,信号有一定的失真是可以容忍的。但是当失真大于某一限度后,信息质量将被严重损伤,甚至丧失其实用价值。要规定失真限度,必须先有一个定量的失真测度。为此可引入失真函数。,4,4.1.1 失真函数,假如某一信源X,输出样值为xi,xia1,an,经过有失真的信源编码器,输出Y,样值为yj,yj b1,bm。如果xiyj,则认为没有失真;如果xi yj,那么就产生了失真。失真的大小,用一个量来表示,即失真函数d(xi,yj),以衡量用yj代替xi所引起的失真程度。一般失真函数定义为,5,失真矩阵,单个符号的失真度的全体构成的矩阵 ,称为失真矩阵,6,最常用的失真函数,均方失真:,相对失真:,误码失真:,绝对失真:,前三种失真函数适用于连续信源,后一种适用于离散信源。,7,失真函数的定义可以推广到序列编码情况,如果假定离散信源输出符号序列X=(X1X2XlXL),其中L长符号序列样值xi(xi1xi2xilxiL),经信源编码后,输出符号序列Y=(Y 1Y 2Y lY L),其中L长符号序列样值yj(yj1yj2yjlyjL),则失真函数定义为:,其中d(xil,yjl)是信源输出L长符号样值xi中的第l个符号xil时,编码输出L长符号样值yj中的第l个符号yjl的失真函数。,8,4.1.2 平均失真,由于xi和yj都是随机变量,所以失真函数d(xi,yj)也是随机变量,限失真时的失真值,只能用它的数学期望或统计平均值,因此将失真函数的数学期望称为平均失真,记为,9,对于连续随机变量同样可以定义平均失真,对于L长序列编码情况,平均失真为,10,4.1.3 信息率失真函数R(D),11,4.1.3 信息率失真函数R(D),给出一个失真的限制值D,在满足平均失真 D的条件下,选择一种编码方法使信息率R尽可能小。信息率R就是所需输出的有关信源X的信息量。,12,(1)D允许试验信道,平均失真由信源分布p(xi)、假想信道的转移概率p(yj/xi)和失真函数d(xi,yj)决定,若p(xi)和d(xi,yj)已定,则可给出满足x下式条件的所有转移概率分布pij,它们构成了一个信道集合PD 称为D允许试验信道。,13,(2)信息率失真函数R(D),由于互信息取决于信源分布和信道转移概率分布,当p(xi)一定时,互信息I是关于p(yj/xi) 的U型凸函数,存在极小值。因而在上述允许信道PD中,可以寻找一种信道pij,使给定的信源p(xi)经过此信道传输后,互信息I(X;Y)达到最小。该最小的互信息就称为信息率失真函数R(D),即,14,对于离散无记忆信源,R(D)函数可写成,p(ai),i1,2,n 是信源符号概率分布; p(bj/ai),i1,2,n,j1,2,m 是转移概率分布 p(bj),j1,2,m 是接收端收到符号概率分布。,15,例4-1-3 设信源的符号表为Aa1,a2,a2n,概率分布为p(ai)1/2n,i1,2,2n,失真函数规定为 即符号不发生差错时失真为0,一旦出错,失真为1,试研究在一定编码条件下信息压缩的程度。,16,4.1.4 信息率失真函数的性质,R(D)函数的定义域 Dmin和R(Dmin) Dmin0 对于连续信源,17,(2) Dmax和R(Dmax),选择所有满足R(D)0中D的最小值,定义为R(D)定义域的上限Dmax,即,因此可以得到R(D)的定义域为,18,Dmax是这样来计算的。R(D)0就是I(X;Y)0,这时试验信道输入与输出是互相独立的,所以条件概率p(yj/xi)与xi无关。即,19,求出满足条件 的D中的最小值 ,即,此时平均失真为,20,从上式观察可得:在j=1,m中,可找到 值最小的j,当该j对应的pj1,而其余pj为零时,上式右边达到最小,这时上式可简化成,21,例4-1-4 设输入输出符号表为XY0,1,输入概率分布p(x)=1/3,2/3,失真矩阵为,22,解: 当Dmin0时,R(Dmin)H(X)H(1/3,2/3)0.91比特/符号,这时信源编码器无失真,所以该编码器的转移概率为,23,当R(Dmax)0时,此时输出符号概率p(b1)0,p(b2)1, 所以这时的编码器的转移概率为,24,2、R(D)函数的下凸性和连续性,3、R(D)函数的单调递减性 容许的失真度越大,所要求的信息率越小。反之亦然。,25,综上所述,可以得出如下结论: R(D)是非负的实数,即R(D) 0。其定义域为0Dmax,其值为0H(X)。当DDmax时, R(D) 0。 R(D)是关于D的下凸函数,因而也是关于D的连续函数。 R(D)是关于D的严格递减函数。,26,由以上三点结论,对一般R(D)曲线的形态可以画出来,27,4.2 离散信源和连续信源的R(D)计算,某些特殊情况下R(D)的表示式为: (1)当d(x,y)=(x-y)2, 时,,28,(2)当d(x,y)=|x-y|, 时,,(3)当d(x,y)=(x,y),p(x=0)=p,p(x=1)=1-p时, R(D)=H(p)H(D),29,这些R(D)可画成图4-5的三条曲线,0 Dmax D,R(D) H,(3),(1),(2),图4-5 信息率失真函数R(D),30,例4-2-1 设输入输出符号表为XY0,1,输入概率分布p(x)=(p,1-p),0p1/2,失真矩阵为,求信息率失真函数R(D)。,31,