信息论与编码基础 (8).ppt

信源剩余度信源剩余度1H H(XN|X1,XN-1)H(X2|X1)H(X1)H0=log q信源有记忆信源无记忆相关性减弱均匀性增强定义设某q元信源的极限熵（实际熵），则定义：为信源剩余度信源实际熵H与理想熵H0相差越大，信源的剩余度就越大，信源的效率也越低信源剩余度信源剩余度2关于信源剩余度的思考：1、为提高信息传输效率，总希望减少剩余度信源压缩：预测编码、变换编码等例：中华人民共和国压缩成“中国”2、为提高信息传输可靠性，需要一定的剩余度信道编码：线性分组码、卷积码等例：发送“中国”错成“X国”发送“中华人民共和国”错成“中X人民X和国”信源剩余度信源剩余度3例1 英文源H0=log27=4.76 bit/sig AI NGAE ITE NNR ASAEV OTE BAINTHA HYROO POER SET RYGAIETRWCO EHDUARU EU C FT NSREM DIY信源剩余度信源剩余度4例1 英文源H0=log27=4.76 bit/sig IN NO TH HE ER AN RE ED ON ES ST EN AT TO NT HA ND OU EA NG AS信源剩余度信源剩余度5例1 英文源H0=log27=4.76 bit/sig H3=3.1 bit/sigTHE ING AND HER ERE THA NTH FOR DTH HAT SHE ION INT HIS STH ERS VER ENT信源剩余度信源剩余度6例1 英文源H0=log27=4.76 bit/sig H3=3.1 bit/sigH=1.4 bit/sig信源剩余度信源剩余度7例2 中文源H0=log 10000=13.29(比特/汉字)类别汉字个数 所占概率 每个汉字的概率I1400.50.5/140II4850.350.35/485III17750.1470.147/1775IV76000.0030.003/7600信源剩余度 探索与探究8信息冗余去掉信源压缩新信源信息冗余信源剩余度 探索与探究93000 x40003=275Mb=34.33MB8xx1280 x720 x3x82460170 xxx=5415Gb=677GB为什么需要对信源进行压缩编码？144144张张DVDDVD光盘光盘 理论到实践：数据压缩的途径10信源剩余度H H(XN|X1,XN-1)H(X2|X1)H(X1)H0=log q信源有记忆信源无记忆相关性减弱均匀性增强数据压缩的基本途径数据压缩的基本途径结论1：有记忆信源的冗余度寓于信源符号间的相关性中。

去除它们之间的相关性，使之成为或几乎成为不相关的信源，其熵将增大典型应用预测编码、变换编码预测编码、变换编码 理论到实践：数据压缩的途径11信源剩余度H H(XN|X1,XN-1)H(X2|X1)H(X1)H0=log q信源有记忆信源无记忆相关性减弱均匀性增强数据压缩的基本途径数据压缩的基本途径结论2：离散无记忆信源的冗余度寓于符号概率的非均匀分布中改变原来信源的概率分布，使之成为或接近等概分布的信源，其熵将增大典型应用统计编码统计编码 理论到实践：数据压缩的途径12信源剩余度3000 x40003=275Mb=34.33MB8xx1280 x720 x3x82460170 xxx=5415Gb=677GB3.77MJPEGMPEG-2144张DVD光盘。