07 第七章 限失真信源编码.ppt

第第7 7章章 限失真信限失真信源编码源编码解迎刚解迎刚Tel：13691117939Email：yinggangxie@1v内容提要v 数据压缩是信息传输和处理的重要研究内容，率失真理论研究的就是在允许一定失真的前提下，对信源的压缩编码率失真信源编码定理（香农第三定理）指出：率失真函数R (D) 就是在给定失真测度条件下，对信源熵可压缩的最低程度本章只限于研究率失真理论最基本的内容，失真测度，率失真函数，率失真函数的定义域，值域，性质及定量计算R (D) 的计算很烦琐，一般情况只能用参数法求解2第第7 7章章 限失真信源编码限失真信源编码v7.1 失真测度失真测度v7.2 信息率失真函数信息率失真函数v7.3 信息率失真函数的计算信息率失真函数的计算v7.4 限失真信源编码定理和逆定理限失真信源编码定理和逆定理v7.5 熵压缩编码具体方法熵压缩编码具体方法37.0 导言导言 为了追求更有效的压缩或传输，对有些信息可以允许有一为了追求更有效的压缩或传输，对有些信息可以允许有一定的失真，例如某些图像和语音的应用定的失真，例如某些图像和语音的应用。

另一方面，由于受到信息存储、处理或传输设备的限制，另一方面，由于受到信息存储、处理或传输设备的限制，而不得不对信源输出的信号作某种近似的表示而不得不对信源输出的信号作某种近似的表示v 在允许一定失真的前提下，从提高传输效率的角度出发，可以对信源信息量事先进行压缩再予传输，这章要讨论的问题就是给定一个失真度，求出在平均失真小于给定值的条件下，信源所能压缩的最低程度，即率失真函数R(D)47.1 失真测度失真测度什么是什么是失真失真？？如何度量如何度量失真的大小失真的大小？？显然，不同的应用有不同的度量方法，不同的人对失真的看显然，不同的应用有不同的度量方法，不同的人对失真的看法也可能不一样法也可能不一样失真测度失真测度d( x, y )平方误差失真测度平方误差失真测度绝对值误差失真测度绝对值误差失真测度57.1.1 失真函数失真函数6失真矩阵失真矩阵常用的失真函数常用的失真函数7常用的失真函数常用的失真函数(2)8绝对值误差失真测度v信源输出符号X = {0, 1, 2}，信道输出符号Y= {0, 1, 2}，给出失真测度v d i j= ︱xi -yj︱ i, j= 0, 1, 2v 则失真测度矩阵为9长为长为N的信源符号序列的失真函数的信源符号序列的失真函数10117.1.2 平均失真平均失真注意以上是针对单个符号信源，我们还需要考虑长度注意以上是针对单个符号信源，我们还需要考虑长度为为N的信源符号序列的情况。

的信源符号序列的情况12137.2 信息率失真函数信息率失真函数7.2.1 D失真许可信道失真许可信道14D失真许可信道失真许可信道7.2.2 信息率失真函数的定义信息率失真函数的定义15信息率失真函数信息率失真函数16关于率失真函数的讨论关于率失真函数的讨论177.2.3 率失真函数率失真函数R(D)的性质的性质187.2.3 率失真函数率失真函数R(D)的性质的性质1. R(D)的定义域的定义域19关于定义域的讨论关于定义域的讨论202122关于上界的讨论关于上界的讨论前面讨论的是前面讨论的是R(D)定义域的下界问题，接下来讨论其上界问题定义域的下界问题，接下来讨论其上界问题23242. R(D)是关于是关于D的下凸函数的下凸函数 （证明过程不要求）（证明过程不要求）率失真函数率失真函数R(D)的性质的性质3. R(D)在定义域内是严格递减函数在定义域内是严格递减函数（证明过程不要求）（证明过程不要求）（证明过程不要求）（证明过程不要求）25267.3 率失真函数的计算率失真函数的计算7.3.1 应用参量表示式计算应用参量表示式计算R(D)27R(D)的计算的计算282930我们用一个例子来看一下我们用一个例子来看一下R(D)的具体求解过程的具体求解过程31例例7.6（续（续1））32例例7.6（续（续2））33例例7.6（续（续3））34例例7.6（续（续4））3536例例7.7（续（续1））37例例7.7（续（续2））3839例例7.8（续（续1））40例例7.8（续（续2））417.3.2 二元信源和离散等概率信源的二元信源和离散等概率信源的R(D)42例例7.9（续（续1））43例例7.9（续（续2））44例例7.9（续（续3））45例例7.10（续（续1））46例例7.10（续（续2））474849505152537.4 限失真信源编码定理和逆定理限失真信源编码定理和逆定理7.4.1 限失真信源编码定理限失真信源编码定理54v说明说明:(1)如果是二元信源，对于任意小的如果是二元信源，对于任意小的 ＞＞0，每一，每一个信源符号的平均码长满足如下公式个信源符号的平均码长满足如下公式则则 在失真限度内使信息率任意接近在失真限度内使信息率任意接近R（（D））的编码方法存在。

的编码方法存在 (2) 该定理只能说明最佳编码是存在的，而具该定理只能说明最佳编码是存在的，而具体构造编码方法却一无所知，因而就不能体构造编码方法却一无所知，因而就不能像无损编码那样从证明过程中引出概率匹像无损编码那样从证明过程中引出概率匹配的编码方法一般只能从优化的思路去配的编码方法一般只能从优化的思路去求最佳编码实际上，迄今尚无合适的可求最佳编码实际上，迄今尚无合适的可实现的编码方法来接近实现的编码方法来接近R（（D））这个界 557.4.2 限失真信源编码逆定理限失真信源编码逆定理567.5 熵压缩编码具体方法熵压缩编码具体方法7.5.1 标量量化标量量化7.5.2 矢量量化矢量量化7.5.3 变换编码变换编码7.5.4 预测编码预测编码57。