信息论与编码原理信息率失真函数课件.ppt

信息论与编码原理（第四章）（第四章）────────────────────────────信息率失真函数信息率失真函数7/20/20241信息论与编码原理信息论与编码原理__信息率失真函数信息率失真函数第四章第四章 信息率失真函数信息率失真函数4.1 基本概念基本概念4.2 离散信源的信息率失真函数离散信源的信息率失真函数4.3 连续信源的信息率失真函数连续信源的信息率失真函数 4.4 信息率失真函数与信息价值信息率失真函数与信息价值4.5 信道容量与信息率失真函数的比较信道容量与信息率失真函数的比较4.6 保真度准则下的信源编码定理保真度准则下的信源编码定理 4.7 信息论信息论“三大定理三大定理”总结总结7/20/20242信息论与编码原理信息论与编码原理__信息率失真函数信息率失真函数4.1 基本概念基本概念4.1.1 引言引言4.1.2 失真度与平均失真度失真度与平均失真度4.1.3 信息率失真函数的定义信息率失真函数的定义4.1.4 信息率失真函数的性质信息率失真函数的性质7/20/20243信息论与编码原理信息论与编码原理__信息率失真函数信息率失真函数4.1.1 引引 言言(1) “消息完全无失真传送消息完全无失真传送”的可实现性的可实现性(2) 实际中允许一定程度的失真实际中允许一定程度的失真(3) 信息率失真理论信息率失真理论4.1基本概念7/20/20244信息论与编码原理信息论与编码原理__信息率失真函数信息率失真函数4.1.1 引引 言言(1) “消息完全无失真传送消息完全无失真传送”的可实现性的可实现性ÿ 信道编码定理：信道编码定理：无论何种信道，只要信息率无论何种信道，只要信息率 R 小于信道容量小于信道容量 C，总能找到一种编码，使在信道上能以任意小的错误概率和任意，总能找到一种编码，使在信道上能以任意小的错误概率和任意接近于接近于 C 的传输率来传送信息。

反之，若的传输率来传送信息反之，若 R >C，则传输总要失真则传输总要失真ÿ 完全无失真传送不可实现完全无失真传送不可实现q 实际的信源常常是连续的，信息率无限大，要无失真传送要实际的信源常常是连续的，信息率无限大，要无失真传送要求信息率求信息率 R 为无穷大；为无穷大；q 实际信道带宽是有限的，所以信道容量受限制要想无失真实际信道带宽是有限的，所以信道容量受限制要想无失真传输，所需的信息率大大超过信道容量传输，所需的信息率大大超过信道容量 R>>C返回目录4.1基本概念7/20/20245信息论与编码原理信息论与编码原理__信息率失真函数信息率失真函数4.1.1 引引 言言(2) 实际中允许一定程度的失真实际中允许一定程度的失真ÿ 技术发展的需要技术发展的需要q 随着科技的发展，数字系统应用得越来越广泛，需要传送、存储随着科技的发展，数字系统应用得越来越广泛，需要传送、存储和处理大量的数据为了提高传输和处理效率，需要对数据压缩，和处理大量的数据为了提高传输和处理效率，需要对数据压缩，这样会带来一定的信息损失这样会带来一定的信息损失q 信息时代，信息爆信息时代，信息爆炸，要求解决对海量数据有效的压缩，减少数炸，要求解决对海量数据有效的压缩，减少数据的据的存储容量存储容量(如各种数据库、电子出版物、多媒体娱乐如各种数据库、电子出版物、多媒体娱乐)、、传输时传输时间间(如数据通信和遥测如数据通信和遥测)、或、或占有带宽占有带宽(如多媒体通信、数字音频广播、如多媒体通信、数字音频广播、高清晰度电视高清晰度电视)，想方设法压缩给定消息，想方设法压缩给定消息 集合占用的集合占用的空间域空间域、、时间时间域域和和频率域频率域资源资源.q 如海洋地球物理勘探遥测数据，用如海洋地球物理勘探遥测数据，用 60 路传感器，每路信号路传感器，每路信号 1kHz，，16 位位 A/D 量化，每航测量化，每航测 1km 就需记录就需记录 1 盘盘 0.5 英寸的磁带，一条英寸的磁带，一条测量船每年就可勘测测量船每年就可勘测 15000km。

4.1基本概念7/20/20246信息论与编码原理信息论与编码原理__信息率失真函数信息率失真函数4.1.1 引引 言言(2) 实际中允许一定程度的失真实际中允许一定程度的失真ÿ 实际生活中的需要实际生活中的需要q 实际生活中，人们一般并不要求获得完全无失真的消息，通常只实际生活中，人们一般并不要求获得完全无失真的消息，通常只要求近似地再现原始消息，即允许一定的失真存在要求近似地再现原始消息，即允许一定的失真存在q 打：打：即使语音信号有一些失真，接的人也能听懂人耳接即使语音信号有一些失真，接的人也能听懂人耳接收信号的带宽和分辨率是有限的收信号的带宽和分辨率是有限的q 放电影：放电影：理论上需要无穷多幅静态画面，由于人眼的理论上需要无穷多幅静态画面，由于人眼的“视觉暂留性视觉暂留性”，实际上只要每秒放映，实际上只要每秒放映 24 幅静态画面幅静态画面q 有些失真没有必要完全消除有些失真没有必要完全消除q 既然允许一定的失真存在，对信息率的要求便可降低既然允许一定的失真存在，对信息率的要求便可降低返回目录4.1基本概念7/20/20247信息论与编码原理信息论与编码原理__信息率失真函数信息率失真函数4.1.1 引引 言言(3) 信息率失真理论信息率失真理论ÿ 信息率失真理论研究的内容信息率失真理论研究的内容: 信息率信息率信息率信息率与与允许失真允许失真允许失真允许失真之间的关之间的关系系.ÿ 信息率失真函数信息率失真函数q 香农定义了信息率失真函数香农定义了信息率失真函数 R(D)。

q “保真度准则下的信源编码定理保真度准则下的信源编码定理”指出：指出：在允许一定失在允许一定失真度真度 D 的情况下，信源输出的信息率可压缩到的情况下，信源输出的信息率可压缩到 R(D)q 信息率失真理论是信息率失真理论是量化量化（模数转换）、（模数转换）、数模转换数模转换、、频带频带压缩压缩和和数据压缩数据压缩的理论基础的理论基础4.1基本概念7/20/20248信息论与编码原理信息论与编码原理__信息率失真函数信息率失真函数4.1.1 引引 言言(3) 信息率失真理论信息率失真理论ÿ 信息率失真函数信息率失真函数极小值极小值问题问题q I(X;Y) 是是 P(X) 和和 P(Y/X) 的二元函数；的二元函数；q 在讨论信道容量时在讨论信道容量时：：规定了规定了P(Y/X) ，， I(X;Y) 变成了变成了P(X) 的函数在离散情况下，因为的函数在离散情况下，因为 I(X;Y) 对对 p(xi) 是上凸是上凸函数，所以变更函数，所以变更 p(xi) 所求极值一定是所求极值一定是 I(X;Y)的极大值；的极大值；在连续情况下，变更信源在连续情况下，变更信源 P(X) 求出的也是极大值，但求求出的也是极大值，但求极值时还要一些其它的限制条件。

极值时还要一些其它的限制条件4.1基本概念7/20/20249信息论与编码原理信息论与编码原理__信息率失真函数信息率失真函数4.1.1 引引 言言(3) 信息率失真理论信息率失真理论ÿ 信息率失真函数信息率失真函数极小值极小值问题问题q 在讨论信息率时在讨论信息率时：：可规定可规定 p(xi)，变更，变更 p(yj /xi) 来求平均互信来求平均互信息的极值，称为息的极值，称为信道容量对偶问题信道容量对偶问题由于由于I(X;Y) 是是 p(yj /xi) 的的下凸函数，所求的极值一定是极小值下凸函数，所求的极值一定是极小值但若 X 和和 Y 相互统计独相互统计独立（立（p(yj /xi)= p(yj )），这个极小值就是），这个极小值就是 0，因为，因为 I(X;Y) 是非负是非负的，的，0 必为极小值，这样求极小值就没意义了必为极小值，这样求极小值就没意义了q 引入一个失真函数，计算在失真度一定的情况下信息率的极引入一个失真函数，计算在失真度一定的情况下信息率的极小值就变的有意义了小值就变的有意义了返回目录4.1基本概念7/20/202410信息论与编码原理信息论与编码原理__信息率失真函数信息率失真函数4.1.2 失真度与平均失真度失真度与平均失真度(1) 信息率与失真的关系信息率与失真的关系(2) 失真度失真度(3) 常用的失真函数常用的失真函数(4) 平均失真度平均失真度(5) N 次扩展信道的平均失真度次扩展信道的平均失真度4.1基本概念7/20/202411信息论与编码原理信息论与编码原理__信息率失真函数信息率失真函数4.1.2 失真度与平均失真度失真度与平均失真度(1) 信息率与失真的关系信息率与失真的关系ÿ信道中固有的信道中固有的噪声噪声和不可避免的和不可避免的干扰干扰，使信源的消息通过，使信源的消息通过信道传输后造成误差和失真。

信道传输后造成误差和失真ÿ误差或误差或失真失真失真失真越大，接收者收到消息后对信源存在的不确定越大，接收者收到消息后对信源存在的不确定性就越大，获得的信息量就越小，信道传输消息的性就越大，获得的信息量就越小，信道传输消息的信息率信息率信息率信息率也越小返回目录4.1基本概念7/20/202412信息论与编码原理信息论与编码原理__信息率失真函数信息率失真函数4.1.2 失真度与平均失真度失真度与平均失真度(2) 失真度失真度ÿ 失真度失真度q 设离散无记忆信源为：设离散无记忆信源为：4.1基本概念7/20/202413信息论与编码原理信息论与编码原理__信息率失真函数信息率失真函数4.1.2 失真度与平均失真度失真度与平均失真度(2) 失真度失真度ÿ 失真度失真度q 对每一对对每一对 (xi,yj)，指定一个非负函数，指定一个非负函数d(xi,yj)≥0 i=1,2,…,n j=1,2,…,m称称 d(xi,yj) 为为单个符号的单个符号的失真度失真度失真度失真度（失真函数）表示信源（失真函数）表示信源发出一个符号发出一个符号 xi，在接收端再现，在接收端再现 yj 所引起的误差或失真。

所引起的误差或失真4.1基本概念7/20/202414信息论与编码原理信息论与编码原理__信息率失真函数信息率失真函数4.1.2 失真度与平均失真度失真度与平均失真度(2) 失真度失真度ÿ 失真矩阵失真矩阵q 失真度还可表示成矩阵的形式失真度还可表示成矩阵的形式q 称称 [D] 为失真矩阵它是为失真矩阵它是 n×m 阶矩阵ÿ 连续信源和连续信道的失真函数连续信源和连续信道的失真函数 在连续信源和连续信道情况下，失真度定义为：在连续信源和连续信道情况下，失真度定义为：d(x,y)≥0返回目录4.1基本概念7/20/202415信息论与编码原理信息论与编码原理__信息率失真函数信息率失真函数4.1.2 失真度与平均失真度失真度与平均失真度(3) 常用的失真函数常用的失真函数ÿ 第一种：第一种：q 当当 i=j 时，时，X 与与 Y 的取值一样，用的取值一样，用 Y 来代表来代表 X 就没有误差，所就没有误差，所以定义失真度为以定义失真度为 0；；q 当当 i≠j 时，用时，用 Y 代表代表 X 就有误差就有误差q 这种定义认为对所有不同的这种定义认为对所有不同的 i 和和 j 引起的误差都一样，所以定义引起的误差都一样，所以定义失真度常数失真度常数失真度常数失真度常数 a a。

4.1基本概念7/20/202416信息论与编码原理信息论与编码原理__信息率失真函数信息率失真函数4.1.2 失真度与平均失真度失真度与平均失真度(3) 常用的失真函数常用的失真函数ÿ 第一种：第一种：q 特点：特点：对角线上的元素均为对角线上的元素均为 0，对角线以外的其它元素都为常数，对角线以外的其它元素都为常数 aq 汉明失真函数汉明失真函数：： a=1 4.1基本概念7/20/202417信息论与编码原理信息论与编码原理__信息率失真函数信息率失真函数4.1.2 失真度与平均失真度失真度与平均失真度(3) 常用的失真函数常用的失真函数ÿ 第二种（平方误差失真函数）：第二种（平方误差失真函数）：d(xi,yj)=(yj－－xi)2q 失真矩阵：失真矩阵：平方误差失真矩阵平方误差失真矩阵q 若信源符号代表输出信号的幅度值，则较大的幅度失真若信源符号代表输出信号的幅度值，则较大的幅度失真比较小的幅度失真引起的错误更为严重比较小的幅度失真引起的错误更为严重, 严重程度用平方严重程度用平方表示表示.q 失真函数是根据人们的失真函数是根据人们的实际需要实际需要实际需要实际需要和和失真引起的损失失真引起的损失失真引起的损失失真引起的损失、、风风风风险险险险、、主观感觉上的差别大小主观感觉上的差别大小主观感觉上的差别大小主观感觉上的差别大小等因素等因素人为规定的人为规定的人为规定的人为规定的。

返回目录4.1基本概念7/20/202418信息论与编码原理信息论与编码原理__信息率失真函数信息率失真函数4.1.2 失真度与平均失真度失真度与平均失真度(4) 平均失真度平均失真度ÿ 平均失真度平均失真度q d(xi,yj) 只能表示两个特定的具体符号只能表示两个特定的具体符号 xi 和和 yj 之间的失真之间的失真q 平均失真度平均失真度平均失真度平均失真度：：失真度的数学期望，即：失真度的数学期望，即：4.1基本概念7/20/202419信息论与编码原理信息论与编码原理__信息率失真函数信息率失真函数4.1.2 失真度与平均失真度失真度与平均失真度(4) 平均失真度平均失真度ÿ平均失真度的意义平均失真度的意义q 是在平均意义上，从总体上对整个系统失真情况的是在平均意义上，从总体上对整个系统失真情况的描述它是描述它是信源统计特性信源统计特性信源统计特性信源统计特性 p p( (x xi i) ) 、、信道统计特性信道统计特性信道统计特性信道统计特性 p p( (y yj j/ /x xi i ) ) 和和失真度失真度失真度失真度 d d( (x xi i, ,y yj j) ) 的函数的函数 。

q 当当 p(xi)，，p(yj/xi ) 和和 d(xi,yj) 给定后，平均失真度就不给定后，平均失真度就不是一个随机变量了，而是一个确定的量是一个随机变量了，而是一个确定的量q 如果如果信源信源和和失真度失真度一定，一定， 就只是就只是信道统计特性信道统计特性的函的函数信道传递概率不同，平均失真度随之改变信道传递概率不同，平均失真度随之改变4.1基本概念7/20/202420信息论与编码原理信息论与编码原理__信息率失真函数信息率失真函数4.1.2 失真度与平均失真度失真度与平均失真度(4) 平均失真度平均失真度ÿ 保真度准则保真度准则q 人们所允许的失真指的都是平均意义上的失真人们所允许的失真指的都是平均意义上的失真q 保真度准则保真度准则：：规定平均失真度规定平均失真度 不能超过某一限定不能超过某一限定的值的值 D，即，即 ，则，则 D D 就是允许失真的上界就是允许失真的上界就是允许失真的上界就是允许失真的上界该式称为保真度准则为保真度准则返回目录4.1基本概念7/20/202421信息论与编码原理信息论与编码原理__信息率失真函数信息率失真函数4.1.2 失真度与平均失真度失真度与平均失真度(5) N 次扩展信道的平均失真度次扩展信道的平均失真度ÿ N 次扩展次扩展q 单符号离散无记忆信源单符号离散无记忆信源 X {x1,x2,…,xn} 的的 N 次扩展信次扩展信源源 XN =X1X2…XN ，在信道中的传递作用相当于单符号离，在信道中的传递作用相当于单符号离散无记忆信道的散无记忆信道的 N 次扩展信道，输出也是一个随机变量次扩展信道，输出也是一个随机变量序列序列 YN =Y1Y2…YN 。

q 此时输入共有此时输入共有 nN 个不同的符号：个不同的符号：4.1基本概念7/20/202422信息论与编码原理信息论与编码原理__信息率失真函数信息率失真函数4.1.2 失真度与平均失真度失真度与平均失真度(5) N 次扩展信道的平均失真度次扩展信道的平均失真度ÿ N 次扩展次扩展q 信道的输出共有信道的输出共有 mN 个不同的符号：个不同的符号：4.1基本概念7/20/202423信息论与编码原理信息论与编码原理__信息率失真函数信息率失真函数4.1.2 失真度与平均失真度失真度与平均失真度(5) N 次扩展信道的平均失真度次扩展信道的平均失真度ÿ N 次扩展次扩展q 定义定义定义定义离散无记忆信道离散无记忆信道 {X P(Y/X) Y} 的的 N 次扩展信道的次扩展信道的输入序列输入序列 ai 和输出序列和输出序列 bj 之间的失真函数：之间的失真函数：4.1基本概念7/20/202424信息论与编码原理信息论与编码原理__信息率失真函数信息率失真函数4.1.2 失真度与平均失真度失真度与平均失真度(5) N 次扩展信道的平均失真度次扩展信道的平均失真度ÿ N 次扩展次扩展q 定义的说明：定义的说明：离散无记忆信道的离散无记忆信道的 N 次扩展信道输入输出之间的失次扩展信道输入输出之间的失真，等于输入序列真，等于输入序列 ai 中中 N 个信源符号个信源符号 xi1,xi2,…,xiN 各自通过信道各自通过信道 {X P(Y/X) Y} ，分别输出对应的，分别输出对应的 N 个信宿符号个信宿符号 yj1,yj2,…,yjN 后所引起的后所引起的 N 个单符号失真个单符号失真 d(xik ,yjk)(k=1,2, …,N) 之和。

之和q N 次离散无记忆扩展信源和信道的平均失真度为次离散无记忆扩展信源和信道的平均失真度为 ，则：，则：4.1基本概念7/20/202425信息论与编码原理信息论与编码原理__信息率失真函数信息率失真函数4.1.2 失真度与平均失真度失真度与平均失真度(5) N 次扩展信道的平均失真度次扩展信道的平均失真度ÿ “N 次扩展次扩展”与与“单符号单符号”平均失真度的关系平均失真度的关系q 由扩展信源和扩展信道的无记忆性有：由扩展信源和扩展信道的无记忆性有：4.1基本概念7/20/202426信息论与编码原理信息论与编码原理__信息率失真函数信息率失真函数4.1.2 失真度与平均失真度失真度与平均失真度(5) N 次扩展信道的平均失真度次扩展信道的平均失真度ÿ “N 次扩展次扩展”与与“单符号单符号”平均失真度的关系平均失真度的关系q （（k=1,2, …,N）是同一信源）是同一信源 X 在在 N 个不同时刻通过同一信道个不同时刻通过同一信道 {X P(Y/X) Y} 所造成的平均失真度，因此都等于单符号信源所造成的平均失真度，因此都等于单符号信源 X 通过信道通过信道 {X P(Y/X) Y} 所造成的平均失真度，即：所造成的平均失真度，即：q 结论说明结论说明：：离散无记忆离散无记忆 N 次扩展信源通过离散无记忆次扩展信源通过离散无记忆 N 次扩展信道次扩展信道的平均失真度是单符号信源通过单符号信道的平均失真度的的平均失真度是单符号信源通过单符号信道的平均失真度的 N 倍。

倍4.1基本概念7/20/202427信息论与编码原理信息论与编码原理__信息率失真函数信息率失真函数4.1.2 失真度与平均失真度失真度与平均失真度(5) N 次扩展信道的平均失真度次扩展信道的平均失真度ÿ N 次扩展的保真度准则次扩展的保真度准则：：离散无记忆离散无记忆 N 次扩展信源通过次扩展信源通过离散无记忆离散无记忆 N 次扩展信道的保真度准则为：次扩展信道的保真度准则为：返回目录4.1基本概念7/20/202428信息论与编码原理信息论与编码原理__信息率失真函数信息率失真函数4.1.3 信息率失真函数的定义信息率失真函数的定义(1) 试验信道试验信道(2) 信息率失真函数信息率失真函数(3) 求信息率失真函数的方法求信息率失真函数的方法(4) 研究信道编码和率失真函数的意义研究信道编码和率失真函数的意义4.1基本概念7/20/202429信息论与编码原理信息论与编码原理__信息率失真函数信息率失真函数4.1.3 信息率失真函数的定义信息率失真函数的定义(1) 试验信道试验信道ÿ 单符号信源和单符号信道的试验信道单符号信源和单符号信道的试验信道q 当固定信源（当固定信源（ P(X)已知），单个符号失真度也给定时，已知），单个符号失真度也给定时，选择信道使选择信道使 。

凡满足要求的信道称为凡满足要求的信道称为 D 失真许可失真许可的试验信道的试验信道，简称试验信道简称试验信道q 所有试验信道构成的集合用所有试验信道构成的集合用 PD 来表示，即：来表示，即：4.1基本概念7/20/202430信息论与编码原理信息论与编码原理__信息率失真函数信息率失真函数4.1.3 信息率失真函数的定义信息率失真函数的定义(1) 试验信道试验信道ÿ N 次扩展的试验信道次扩展的试验信道：：对于离散无记忆信源的对于离散无记忆信源的 N 次扩展次扩展信源信源和离散无记忆信道的和离散无记忆信道的 N 次扩展信道次扩展信道，其试验信道集合，其试验信道集合 PD(N) 为：为：返回目录4.1基本概念7/20/202431信息论与编码原理信息论与编码原理__信息率失真函数信息率失真函数4.1.3 信息率失真函数的定义信息率失真函数的定义(2) 信息率失真函数信息率失真函数ÿ 单符号信源和单符号信道的信息率失真函数单符号信源和单符号信道的信息率失真函数q 信息率失真函数（率失真函数）信息率失真函数（率失真函数） R(D) ：：在信源和失真度给定以后，在信源和失真度给定以后，PD 是满足保真度准则是满足保真度准则 的试验信道集合，平均互信息的试验信道集合，平均互信息 I(X;Y) 是是信道传递概率信道传递概率 p(yj /xi) 的下凸函数，所以在的下凸函数，所以在 PD 中一定可以找到某个中一定可以找到某个试验信道，使试验信道，使 I(X;Y) 达到最小，即：达到最小，即：q 在信源给定以后，总希望在允许一定失真的情况下，传送信源所必在信源给定以后，总希望在允许一定失真的情况下，传送信源所必须的信息率越小越好。

须的信息率越小越好从接收端来看，就是在满足保真度准则从接收端来看，就是在满足保真度准则 的条件下，寻找再现信源消息必须的最低平均信息量，即平均互信息的条件下，寻找再现信源消息必须的最低平均信息量，即平均互信息的最小值的最小值4.1基本概念7/20/202432信息论与编码原理信息论与编码原理__信息率失真函数信息率失真函数4.1.3 信息率失真函数的定义信息率失真函数的定义(2) 信息率失真函数信息率失真函数ÿ “N 次扩展次扩展”的信息率失真函数的信息率失真函数q “N 次扩展次扩展”的信息率失真函数的信息率失真函数RN(D) ：：对于离散无记忆信源的对于离散无记忆信源的 N 次扩展信源和离散无记忆信道的次扩展信源和离散无记忆信道的 N 次扩展信道，在所有满足保真度准次扩展信道，在所有满足保真度准则则 的的 N 维试验信道集合中，一定可以寻找到某个信道使维试验信道集合中，一定可以寻找到某个信道使平均互信息取最小值：平均互信息取最小值：q 由信源和信道的无记忆性，可以证明：由信源和信道的无记忆性，可以证明：RN(D)=NR(D)返回目录4.1基本概念7/20/202433信息论与编码原理信息论与编码原理__信息率失真函数信息率失真函数4.1.3 信息率失真函数的定义信息率失真函数的定义(3) 求信息率失真函数的方法求信息率失真函数的方法ÿ 对偶问题：对偶问题：q 平均互信息平均互信息 I(X;Y) 既是信源概率分布既是信源概率分布 p(xi) 的上凸函数，又是信道的上凸函数，又是信道传递概率传递概率 p(yj /xi) 的下凸函数。

的下凸函数q 率失真函数率失真函数 R(D) 是在是在允许平均失真度允许平均失真度允许平均失真度允许平均失真度 D D 和信源概率分布和信源概率分布 p(xi) 已已给的条件下，求平均互信息的极小值（最小）问题给的条件下，求平均互信息的极小值（最小）问题q 而而信道容量信道容量信道容量信道容量 C C 是在信道特性是在信道特性 p(yj /xi) 已知的条件下求平均互信息的已知的条件下求平均互信息的极大值（最大）问题这两个问题是极大值（最大）问题这两个问题是对偶问题对偶问题4.1基本概念7/20/202434信息论与编码原理信息论与编码原理__信息率失真函数信息率失真函数4.1.3 信息率失真函数的定义信息率失真函数的定义(3) 求信息率失真函数的方法求信息率失真函数的方法ÿ求信道容量的方法求信道容量的方法：：信道容量是假定信道固定的前提下，信道容量是假定信道固定的前提下，选择一种选择一种试验信源试验信源试验信源试验信源，使信息率最大一旦找到了这个信道，使信息率最大一旦找到了这个信道容量，它就与信源不再有关，而是信道特性的参量，随信容量，它就与信源不再有关，而是信道特性的参量，随信道特性的变化而变化。

道特性的变化而变化4.1基本概念7/20/202435信息论与编码原理信息论与编码原理__信息率失真函数信息率失真函数4.1.3 信息率失真函数的定义信息率失真函数的定义(3) 求信息率失真函数的方法求信息率失真函数的方法ÿ求信息率失真函数的方法求信息率失真函数的方法：：信息率失真函数信息率失真函数 R(D) 是假定是假定信源给定的情况下，在信源给定的情况下，在用户可以容忍的失真度用户可以容忍的失真度用户可以容忍的失真度用户可以容忍的失真度内再现信源内再现信源消息所必须获得的消息所必须获得的最小平均信息量最小平均信息量最小平均信息量最小平均信息量它反映的是信源可压它反映的是信源可压缩程度率失真函数一旦找到，就与求极值过程中选择的率失真函数一旦找到，就与求极值过程中选择的试验信道不再有关，而只是信源特性的参量不同的信源，试验信道不再有关，而只是信源特性的参量不同的信源，其其 R(D) 是不同的是不同的返回目录4.1基本概念7/20/202436信息论与编码原理信息论与编码原理__信息率失真函数信息率失真函数4.1.3 信息率失真函数的定义信息率失真函数的定义(4) 研究信道编码和率失真函数的意义研究信道编码和率失真函数的意义ÿ研究信道容量的意义研究信道容量的意义：：在实际应用中，研究信道容量是为在实际应用中，研究信道容量是为了解决在已知信道中传送最大信息率问题。

目的是充分利了解决在已知信道中传送最大信息率问题目的是充分利用已给信道，使传输的信息量最大而发生错误的概率任意用已给信道，使传输的信息量最大而发生错误的概率任意小，以小，以提高通信的可靠性提高通信的可靠性这就是信道编码信道编码问题4.1基本概念7/20/202437信息论与编码原理信息论与编码原理__信息率失真函数信息率失真函数4.1.3 信息率失真函数的定义信息率失真函数的定义(4) 研究信道编码和率失真函数的意义研究信道编码和率失真函数的意义ÿ 研究信息率失真函数的意义研究信息率失真函数的意义：：研究信息率失真函数是为了研究信息率失真函数是为了解决在已知信源和允许失真度解决在已知信源和允许失真度 D 的条件下，使信源必须传的条件下，使信源必须传送给信宿的信息率最小即用尽可能少的码符号尽快地传送给信宿的信息率最小即用尽可能少的码符号尽快地传送尽可能多的信源消息，以送尽可能多的信源消息，以提高通信的有效性提高通信的有效性这是信源信源编码编码问题返回目录4.1基本概念7/20/202438信息论与编码原理信息论与编码原理__信息率失真函数信息率失真函数4.1.4 信息率失真函数的性质信息率失真函数的性质(1) 率失真函数的定义域率失真函数的定义域(2) 率失真函数对允许平均失真度的下凸性率失真函数对允许平均失真度的下凸性(3) 率失真函数的单调递减和连续率失真函数的单调递减和连续性性4.1基本概念7/20/202439信息论与编码原理信息论与编码原理__信息率失真函数信息率失真函数4.1.4 信息率失真函数的性质信息率失真函数的性质(1) 率失真函数的定义域率失真函数的定义域ÿ 什么是率失真函数的定义域什么是率失真函数的定义域q 允许平均失真度允许平均失真度：：率失真函数中的自变量率失真函数中的自变量 D，也就是人，也就是人们规定的平均失真度们规定的平均失真度 的上限值。

的上限值q 率失真函数的定义域率失真函数的定义域问题就是在信源和失真函数已知的问题就是在信源和失真函数已知的情况下，讨论情况下，讨论允许平均失真度允许平均失真度 D 的最小和最大值问题的最小和最大值问题q D 的选取必须根据固定信源的选取必须根据固定信源 X 的统计特性的统计特性 P(X) 和选定和选定的失真函数的失真函数 d(xi , yj)，在平均失真度，在平均失真度 的可能取值范围的可能取值范围内4.1基本概念7/20/202440信息论与编码原理信息论与编码原理__信息率失真函数信息率失真函数4.1.4 信息率失真函数的性质信息率失真函数的性质(1) 率失真函数的定义域率失真函数的定义域ÿ 信源最小平均失真度信源最小平均失真度 Dminq 是非负函数是非负函数 d(xi , yj) 的数学期望，也是一个非负函的数学期望，也是一个非负函数，显然其下限为数，显然其下限为 0因此允许平均失真度允许平均失真度 D 的下限也必的下限也必然是然是 0，这就是不允许有任何失真的情况这就是不允许有任何失真的情况q 允许平均失真度允许平均失真度 D 能否达到其下限值能否达到其下限值 0，与单个符号的，与单个符号的失真函数有关。

失真函数有关4.1基本概念7/20/202441信息论与编码原理信息论与编码原理__信息率失真函数信息率失真函数4.1.4 信息率失真函数的性质信息率失真函数的性质(1) 率失真函数的定义域率失真函数的定义域ÿ 信源最小平均失真度信源最小平均失真度 Dminq 信源最小平均失真度信源最小平均失真度 Dmin ：：对于每一个对于每一个 xi，找出一个，找出一个 yj 与之对应，使与之对应，使 d(xi , yj) 最小，不同的最小，不同的 xi 对应的最小对应的最小 d(xi , yj) 也不同这相当于在失真矩阵的每一行找出一个最小也不同这相当于在失真矩阵的每一行找出一个最小的的 d(xi , yj) ，各行的最小，各行的最小 d(xi , yj) 值都不同对所有这值都不同对所有这些不同的最小值求数学期望，就是信源的最小平均失真度些不同的最小值求数学期望，就是信源的最小平均失真度4.1基本概念7/20/202442信息论与编码原理信息论与编码原理__信息率失真函数信息率失真函数4.1.4 信息率失真函数的性质信息率失真函数的性质(1) 率失真函数的定义域率失真函数的定义域ÿ 信源最小平均失真度信源最小平均失真度 Dminq 只有当失真矩阵的每一行至少有一个只有当失真矩阵的每一行至少有一个 0 元素时，信源的平均失真度元素时，信源的平均失真度才能达到下限值才能达到下限值 0。

当当 Dmin=0时（信源不允许任何失真存在），信息时（信源不允许任何失真存在），信息率至少应等于信源输出的平均信息量（信源熵），即率至少应等于信源输出的平均信息量（信源熵），即 R(0)=H(X)q 连续信源有连续信源有 这时虽然信源熵是有限的，但信息这时虽然信源熵是有限的，但信息量是无穷大实际信道容量总是有限的，无失真传送这种连续信息是量是无穷大实际信道容量总是有限的，无失真传送这种连续信息是不可能的只有当允许失真（不可能的只有当允许失真（R(D)为有限值），传送才是可能的为有限值），传送才是可能的4.1基本概念7/20/202443信息论与编码原理信息论与编码原理__信息率失真函数信息率失真函数4.1.4 信息率失真函数的性质信息率失真函数的性质(1) 率失真函数的定义域率失真函数的定义域ÿ 信源最小平均失真度信源最小平均失真度 Dmin] [举例举例]：：除删信源除删信源 X 取值于取值于{0,1}，，Y 取值于取值于 {0,1,2}，失真矩阵为：，失真矩阵为：] 满足最小允许失真度的试验信道是一个无噪无损的试验信道：满足最小允许失真度的试验信道是一个无噪无损的试验信道：4.1基本概念7/20/202444信息论与编码原理信息论与编码原理__信息率失真函数信息率失真函数4.1.4 信息率失真函数的性质信息率失真函数的性质(1) 率失真函数的定义域率失真函数的定义域ÿ 信源最大平均失真度信源最大平均失真度 Dmaxq 信源最大平均失真度信源最大平均失真度 Dmax：：必须的信息率越小，容忍的失真就必须的信息率越小，容忍的失真就越大。

当越大当 R(D) 等于等于 0 时，对应的平均失真最大，也就是时，对应的平均失真最大，也就是函数函数 R(D) 定义域的上界值定义域的上界值 Dmax q 信息率失真函数是平均互信息的极小值：信息率失真函数是平均互信息的极小值：▼ 当当 R(D) =0 时，平均互信息的极小值等于时，平均互信息的极小值等于 0；；▼ 当当 D >Dmax 时，从数学意义上讲，因为时，从数学意义上讲，因为 R(D) 是非负函数，是非负函数，所以它仍只能等于所以它仍只能等于 0这相当于输入这相当于输入 X 和输出和输出 Y 统计独立意味着统计独立意味着在接收端收不到信源在接收端收不到信源发送的任何信息发送的任何信息，与，与信源不发送任何信息信源不发送任何信息等效或者说等效或者说传送信源符传送信源符号的信息率可以压缩至号的信息率可以压缩至 04.1基本概念7/20/202445信息论与编码原理信息论与编码原理__信息率失真函数信息率失真函数4.1.4 信息率失真函数的性质信息率失真函数的性质(1) 率失真函数的定义域率失真函数的定义域ÿ 信源最大平均失真度信源最大平均失真度 Dmaxq 计算计算 Dmax 的值的值▼ 令试验信道特性令试验信道特性 p(yj /xi)= p(yj) (i=1,2,…,n) 这时这时 X 和和 Y 相相互独立，等效于通信中断，因此互独立，等效于通信中断，因此 I(X;Y) =0，即，即 R(D)=0。

▼ 满足上式的试验信道有许多，相应地可求出许多平均失真度值，满足上式的试验信道有许多，相应地可求出许多平均失真度值，从中选取最小的一个，就是这类平均失真值的下界从中选取最小的一个，就是这类平均失真值的下界 Dmax 4.1基本概念7/20/202446信息论与编码原理信息论与编码原理__信息率失真函数信息率失真函数4.1.4 信息率失真函数的性质信息率失真函数的性质(1) 率失真函数的定义域率失真函数的定义域ÿ 信源最大平均失真度信源最大平均失真度 Dmaxq 计算计算 Dmax 的值的值▼ 上式是用不同的概率分布上式是用不同的概率分布 {p(yj)} 对对 Dj 求数学期望，取数学期求数学期望，取数学期望当中最小的一个作为望当中最小的一个作为 Dmax ▼ 实际是用实际是用 p(yj) 对对 Dj 进行线性分配，使线性分配的结果最小进行线性分配，使线性分配的结果最小当当 p(xi) 和和 d(xi , yj) 给定时，必可计算出给定时，必可计算出 Dj ，，Dj 随随 j 的变化而变的变化而变化，化， p(yj) 是任选的，只需满足非负性和归一性若是任选的，只需满足非负性和归一性。

若 Ds 是所有是所有Dj 当中最小的一个，可取当中最小的一个，可取 p(ys)=1 ，其它，其它 p(yj) 为为 0，这时，这时 Dj 的线性的线性分配（数学期望）必然最小，即：分配（数学期望）必然最小，即：4.1基本概念7/20/202447信息论与编码原理信息论与编码原理__信息率失真函数信息率失真函数4.1.4 信息率失真函数的性质信息率失真函数的性质(1) 率失真函数的定义域率失真函数的定义域4.1基本概念7/20/202448信息论与编码原理信息论与编码原理__信息率失真函数信息率失真函数4.1.4 信息率失真函数的性质信息率失真函数的性质(1) 率失真函数的定义域率失真函数的定义域[例例4.1.1] 二元信源二元信源 ，相应的失真矩阵，相应的失真矩阵 ，， 计算计算 Dmax ]先计算先计算 Dj ：： ]根据概率的完备性：根据概率的完备性：p(y1)+p(y2)=14.1基本概念7/20/202449信息论与编码原理信息论与编码原理__信息率失真函数信息率失真函数4.1.4 信息率失真函数的性质信息率失真函数的性质(1) 率失真函数的定义域率失真函数的定义域[例例4.1.1] 二元信源二元信源 ，相应的失真矩阵，相应的失真矩阵 ，， 计算计算 Dmax 。

]当当 p(y1)=0，，p(y2)=1 时，得到最小值：时，得到最小值：4.1基本概念7/20/202450信息论与编码原理信息论与编码原理__信息率失真函数信息率失真函数4.1.4 信息率失真函数的性质信息率失真函数的性质(1) 率失真函数的定义域率失真函数的定义域ÿ 结论结论q R(D) 的定义域为：的定义域为：(Dmin, Dmax)q 一般情况下：一般情况下：Dmin =0，， R(Dmin)=H(X)q 当当 D≥Dmax 时：时：R(D)=0q 当当 Dmin

的连续性来证明ÿR(D) 单调递减性单调递减性：：可以证明，在可以证明，在 Dmin

4.2.1 离散信源信息率失真函数的参量表达式离散信源信息率失真函数的参量表达式4.2.2 二元及等概率离散信源的信息率失真函数二元及等概率离散信源的信息率失真函数7/20/202455信息论与编码原理信息论与编码原理__信息率失真函数信息率失真函数4.2.1 离散信源率失真函数的参量表达式离散信源率失真函数的参量表达式(1) 求极小值方法求极小值方法(2) 离散信源的信息率失真函数离散信源的信息率失真函数(3) 参量参量 S 的说明的说明4.2离散信源的信息率失真函数7/20/202456信息论与编码原理信息论与编码原理__信息率失真函数信息率失真函数4.2.1 离散信源率失真函数的参量表达式离散信源率失真函数的参量表达式(1) 求极小值方法求极小值方法ÿ用拉各朗日乘子法原则上可以求出最小值，但是要得到它用拉各朗日乘子法原则上可以求出最小值，但是要得到它的显式一般是很困难的，通常只能求出信息率失真函数的的显式一般是很困难的，通常只能求出信息率失真函数的参量表达式参量表达式4.2离散信源的信息率失真函数7/20/202457信息论与编码原理信息论与编码原理__信息率失真函数信息率失真函数4.2.1 离散信源率失真函数的参量表达式离散信源率失真函数的参量表达式(1) 求极小值方法求极小值方法ÿ已知信源概率分布函数已知信源概率分布函数 p(xi) 和失真度和失真度 d(xi , yj)，在满足，在满足保真度准则保真度准则 的条件下，在试验信道集合的条件下，在试验信道集合 PD 当中选当中选择择 p(yj /xi)，使平均互信息：，使平均互信息：返回目录4.2离散信源的信息率失真函数最小最小7/20/202458信息论与编码原理信息论与编码原理__信息率失真函数信息率失真函数4.2.1 离散信源率失真函数的参量表达式离散信源率失真函数的参量表达式(2) 离散信源的离散信源的信息率失真函数信息率失真函数 已知平均互信息在已知平均互信息在(4.2.5)的的 (n+1) 个条件限制下求个条件限制下求 I(X;Y)的极值，的极值，引入拉各朗日乘子引入拉各朗日乘子 S 和和μi (i=1,2,…,n)，，构造一个新函数：构造一个新函数：4.2离散信源的信息率失真函数7/20/202459信息论与编码原理信息论与编码原理__信息率失真函数信息率失真函数4.2.1 离散信源率失真函数的参量表达式离散信源率失真函数的参量表达式(2) 离散信源的离散信源的信息率失真函数信息率失真函数4.2离散信源的信息率失真函数7/20/202460信息论与编码原理信息论与编码原理__信息率失真函数信息率失真函数4.2.1 离散信源率失真函数的参量表达式离散信源率失真函数的参量表达式(2) 离散信源的离散信源的信息率失真函数信息率失真函数其中：其中：4.2离散信源的信息率失真函数7/20/202461信息论与编码原理信息论与编码原理__信息率失真函数信息率失真函数4.2.1 离散信源率失真函数的参量表达式离散信源率失真函数的参量表达式(2) 离散信源的离散信源的信息率失真函数信息率失真函数4.2离散信源的信息率失真函数7/20/202462信息论与编码原理信息论与编码原理__信息率失真函数信息率失真函数4.2.1 离散信源率失真函数的参量表达式离散信源率失真函数的参量表达式(2) 离散信源的离散信源的信息率失真函数信息率失真函数4.2离散信源的信息率失真函数7/20/202463信息论与编码原理信息论与编码原理__信息率失真函数信息率失真函数4.2.1 离散信源率失真函数的参量表达式离散信源率失真函数的参量表达式(2) 离散信源的离散信源的信息率失真函数信息率失真函数第一步：第一步：求求λi4.2离散信源的信息率失真函数7/20/202464信息论与编码原理信息论与编码原理__信息率失真函数信息率失真函数4.2.1 离散信源率失真函数的参量表达式离散信源率失真函数的参量表达式(2) 离散信源的离散信源的信息率失真函数信息率失真函数第二步：第二步：求求 p(yj)4.2离散信源的信息率失真函数7/20/202465信息论与编码原理信息论与编码原理__信息率失真函数信息率失真函数4.2.1 离散信源率失真函数的参量表达式离散信源率失真函数的参量表达式(2) 离散信源的离散信源的信息率失真函数信息率失真函数第三步：第三步：求求 p(yj/xi) 将解出的将解出的 λi 和求和求 p(yj) 代入式代入式 (4.2.10)，可求得，可求得 m·n 个以个以 S 为参量的为参量的 p(yj/xi)。

4.2离散信源的信息率失真函数7/20/202466信息论与编码原理信息论与编码原理__信息率失真函数信息率失真函数4.2.1 离散信源率失真函数的参量表达式离散信源率失真函数的参量表达式(2) 离散信源的离散信源的信息率失真函数信息率失真函数第四步：第四步：求求 D(S) 将这将这 m·n 个个 p(yj /xi) 代入代入 (4.2.5) 得到以得到以 S 为参量的允许为参量的允许平均失真函数平均失真函数 D(S)4.2离散信源的信息率失真函数7/20/202467信息论与编码原理信息论与编码原理__信息率失真函数信息率失真函数4.2.1 离散信源率失真函数的参量表达式离散信源率失真函数的参量表达式(2) 离散信源的离散信源的信息率失真函数信息率失真函数第五步：第五步：求求 R(S) 将这将这 m·n 个个 p(yj /xi) 代入代入 (4.2.4) 得到以得到以 S 为参量的率失真函数为参量的率失真函数 R(S)4.2离散信源的信息率失真函数7/20/202468信息论与编码原理信息论与编码原理__信息率失真函数信息率失真函数4.2.1 离散信源率失真函数的参量表达式离散信源率失真函数的参量表达式(2) 离散信源的离散信源的信息率失真函数信息率失真函数第六步：第六步：由于由于 p(yj) 不能不能是负值，参量是负值，参量 S 的取值的取值有一定的限制。

选择使有一定的限制选择使 p(yj) 非负的所有非负的所有 S，，得到得到 D 和和 R 值，可以画值，可以画 R(D)曲线，如图曲线，如图4.2.1返回目录4.2离散信源的信息率失真函数7/20/202469信息论与编码原理信息论与编码原理__信息率失真函数信息率失真函数4.2.1 离散信源率失真函数的参量表达式离散信源率失真函数的参量表达式(3) 参量参量 S 的说明的说明ÿ可以证明：可以证明：参量参量 S 就是就是 R(D) 函数的斜率函数的斜率 ÿ参量参量 S 的特性：的特性：由于由于R(D)是是D的单调递减函数，并且是的单调递减函数，并且是U型型凸函数，故斜率凸函数，故斜率 S 必为负，必为负，且是且是 D 的递增函数，的递增函数，D 从从 0 变到变到 Dmax，，S 将逐渐增加；将逐渐增加；ÿ当当 D =0 时：时：S 的最小值趋于的最小值趋于负无穷（负无穷（R(D) 的斜率）的斜率）4.2离散信源的信息率失真函数7/20/202470信息论与编码原理信息论与编码原理__信息率失真函数信息率失真函数4.2.1 离散信源率失真函数的参量表达式离散信源率失真函数的参量表达式(3) 参量参量 S 的说明的说明ÿ当当 D =Dmax 时：时：S 达到最大；达到最大；这个最大值也是某一个负值，这个最大值也是某一个负值，极限是极限是 0。

ÿ当当 D >Dmax 时：时：在在 D=Dmax 处，处，除某些特例外，除某些特例外，S 将从某一个将从某一个负值跳到负值跳到 0，，S 在此点不连续在此点不连续在在 D 的定义域的定义域 [0, Dmax]内，内，除某些特例外，除某些特例外，S 将是将是 D 的的连续函数连续函数返回目录4.2离散信源的信息率失真函数7/20/202471信息论与编码原理信息论与编码原理__信息率失真函数信息率失真函数4.2.2 4.2.2 二元及等概率离散信源的信息率失真函数二元及等概率离散信源的信息率失真函数二元及等概率离散信源的信息率失真函数二元及等概率离散信源的信息率失真函数(1) 二元离散信源的率失真函数二元离散信源的率失真函数(2) 信息率失真函数曲线图说明信息率失真函数曲线图说明(3) 二元等概率离散信源的率失真函数二元等概率离散信源的率失真函数4.2离散信源的信息率失真函数7/20/202472信息论与编码原理信息论与编码原理__信息率失真函数信息率失真函数4.2.2 4.2.2 二元及等概率离散信源的信息率失真函数二元及等概率离散信源的信息率失真函数二元及等概率离散信源的信息率失真函数二元及等概率离散信源的信息率失真函数(1) 二元离散信源的率失真函数二元离散信源的率失真函数 设二元信源设二元信源 计算率失真函数计算率失真函数 R(D)4.2离散信源的信息率失真函数7/20/202473信息论与编码原理信息论与编码原理__信息率失真函数信息率失真函数4.2.2 4.2.2 二元及等概率离散信源的信息率失真函数二元及等概率离散信源的信息率失真函数二元及等概率离散信源的信息率失真函数二元及等概率离散信源的信息率失真函数(1) 二元离散信源的率失真函数二元离散信源的率失真函数 先求出先求出 Dmax4.2离散信源的信息率失真函数7/20/202474信息论与编码原理信息论与编码原理__信息率失真函数信息率失真函数4.2.2 4.2.2 二元及等概率离散信源的信息率失真函数二元及等概率离散信源的信息率失真函数二元及等概率离散信源的信息率失真函数二元及等概率离散信源的信息率失真函数(1) 二元离散信源的率失真函数二元离散信源的率失真函数第一步：第一步：求求λi，由式，由式 (4.2.11) 有：有：4.2离散信源的信息率失真函数7/20/202475信息论与编码原理信息论与编码原理__信息率失真函数信息率失真函数4.2.2 4.2.2 二元及等概率离散信源的信息率失真函数二元及等概率离散信源的信息率失真函数二元及等概率离散信源的信息率失真函数二元及等概率离散信源的信息率失真函数(1) 二元离散信源的率失真函数二元离散信源的率失真函数第二步：第二步：求求 p(yj)，由式，由式 (4.2.12) 有：有：4.2离散信源的信息率失真函数7/20/202476信息论与编码原理信息论与编码原理__信息率失真函数信息率失真函数4.2.2 4.2.2 二元及等概率离散信源的信息率失真函数二元及等概率离散信源的信息率失真函数二元及等概率离散信源的信息率失真函数二元及等概率离散信源的信息率失真函数(1) 二元离散信源的率失真函数二元离散信源的率失真函数第三步：第三步：求求 p(yj/xi)，由式，由式 (4.2.10) 有：有：4.2离散信源的信息率失真函数7/20/202477信息论与编码原理信息论与编码原理__信息率失真函数信息率失真函数4.2.2 4.2.2 二元及等概率离散信源的信息率失真函数二元及等概率离散信源的信息率失真函数二元及等概率离散信源的信息率失真函数二元及等概率离散信源的信息率失真函数(1) 二元离散信源的率失真函数二元离散信源的率失真函数第四步：第四步：求求 D(S)，将上述结果代入式，将上述结果代入式 (4.2.14) 有：有：4.2离散信源的信息率失真函数7/20/202478信息论与编码原理信息论与编码原理__信息率失真函数信息率失真函数4.2.2 4.2.2 二元及等概率离散信源的信息率失真函数二元及等概率离散信源的信息率失真函数二元及等概率离散信源的信息率失真函数二元及等概率离散信源的信息率失真函数(1) 二元离散信源的率失真函数二元离散信源的率失真函数第五步：第五步：求求 R(S)将上述结果代入式将上述结果代入式 (4.2.15) 有：有：4.2离散信源的信息率失真函数7/20/202479信息论与编码原理信息论与编码原理__信息率失真函数信息率失真函数4.2.2 4.2.2 二元及等概率离散信源的信息率失真函数二元及等概率离散信源的信息率失真函数二元及等概率离散信源的信息率失真函数二元及等概率离散信源的信息率失真函数(1) 二元离散信源的率失真函数二元离散信源的率失真函数第五步：第五步：求求 R(S)对于这种简单信源，可从对于这种简单信源，可从 D(S) 解出解出 S 与与 D 的显式表达式：的显式表达式：4.2离散信源的信息率失真函数7/20/202480信息论与编码原理信息论与编码原理__信息率失真函数信息率失真函数4.2.2 4.2.2 二元及等概率离散信源的信息率失真函数二元及等概率离散信源的信息率失真函数二元及等概率离散信源的信息率失真函数二元及等概率离散信源的信息率失真函数(1) 二元离散信源的率失真函数二元离散信源的率失真函数第五步：第五步：求求 R(S)4.2离散信源的信息率失真函数7/20/202481信息论与编码原理信息论与编码原理__信息率失真函数信息率失真函数4.2.2 4.2.2 二元及等概率离散信源的信息率失真函数二元及等概率离散信源的信息率失真函数二元及等概率离散信源的信息率失真函数二元及等概率离散信源的信息率失真函数(1) 二元离散信源的率失真函数二元离散信源的率失真函数第六步：第六步：通过以上通过以上步骤计算出来的步骤计算出来的 R(D) 和和 S(D)如图如图4.2.2。

返回目录4.2离散信源的信息率失真函数7/20/202482信息论与编码原理信息论与编码原理__信息率失真函数信息率失真函数4.2.2 4.2.2 二元及等概率离散信源的信息率失真函数二元及等概率离散信源的信息率失真函数二元及等概率离散信源的信息率失真函数二元及等概率离散信源的信息率失真函数(2) 信息率失真函数曲线图说明信息率失真函数曲线图说明ÿ若若α=1，把，把 d(xi , yj) 当成当成了误码个数，即了误码个数，即 X 和和 Y 不一致时，认为误了一不一致时，认为误了一个码元，所以：个码元，所以： d(xi , yj) 的数学期望就的数学期望就是平均误码率是平均误码率能容忍的失真等效于能容忍的的失真等效于能容忍的误码率4.2离散信源的信息率失真函数7/20/202483信息论与编码原理信息论与编码原理__信息率失真函数信息率失真函数4.2.2 4.2.2 二元及等概率离散信源的信息率失真函数二元及等概率离散信源的信息率失真函数二元及等概率离散信源的信息率失真函数二元及等概率离散信源的信息率失真函数(2) 信息率失真函数曲线图说明信息率失真函数曲线图说明ÿ若若 R(D) 不仅与不仅与 D 有关，还有关，还与与 p 有关。

概率分布不同，有关概率分布不同， R(D) 曲线就不一样当曲线就不一样当 p=0.25 时，如果能容忍的时，如果能容忍的误码率也是误码率也是 0.25，不用传，不用传送信息便可达到，即送信息便可达到，即 R=0，这就是，这就是 R(Dmax) =0 的含的含义义.例如：不管信源发出的例如：不管信源发出的是是x1还是还是x2，都把它编成，都把它编成x2，则误码率就是信源发，则误码率就是信源发出出x1的概率的概率0.25，只送一，只送一种符号当然就不用传送种符号当然就不用传送信息，即信息，即R=0，这就是，这就是R(Dmax)=0的含义4.2离散信源的信息率失真函数7/20/202484信息论与编码原理信息论与编码原理__信息率失真函数信息率失真函数4.2.2 4.2.2 二元及等概率离散信源的信息率失真函数二元及等概率离散信源的信息率失真函数二元及等概率离散信源的信息率失真函数二元及等概率离散信源的信息率失真函数(2) 信息率失真函数曲线图说明信息率失真函数曲线图说明ÿ当当 D 相同时，信源越趋相同时，信源越趋于等概率分布，于等概率分布， R(D) 就就越大由最大离散熵定越大由最大离散熵定理，信源越趋于等概率理，信源越趋于等概率分布，其熵越大，即不分布，其熵越大，即不确定性越大，要去除这确定性越大，要去除这不确定性所需的信息传不确定性所需的信息传输率就越大，而输率就越大，而 R(D) 正正是去除信源不确定性所是去除信源不确定性所必须的信息传输率。

必须的信息传输率4.2离散信源的信息率失真函数7/20/202485信息论与编码原理信息论与编码原理__信息率失真函数信息率失真函数4.2.2 4.2.2 二元及等概率离散信源的信息率失真函数二元及等概率离散信源的信息率失真函数二元及等概率离散信源的信息率失真函数二元及等概率离散信源的信息率失真函数(2) 信息率失真函数曲线图说明信息率失真函数曲线图说明ÿ 关于关于 S(D)q 它与它与 p 无直接关系，无直接关系，S(D) 曲线只有一条，曲线只有一条，p=0.5 和和 p=0.25 都可以用，但它都可以用，但它们的定义域不同；们的定义域不同；4.2离散信源的信息率失真函数7/20/202486信息论与编码原理信息论与编码原理__信息率失真函数信息率失真函数4.2.2 4.2.2 二元及等概率离散信源的信息率失真函数二元及等概率离散信源的信息率失真函数二元及等概率离散信源的信息率失真函数二元及等概率离散信源的信息率失真函数(2) 信息率失真函数曲线图说明信息率失真函数曲线图说明ÿ 关于关于 S(D)q p=0.25 时定义域是时定义域是 D=0~0.25，即到，即到 A 点为点为止，此时止，此时Smax=－－1.59。

D>0.25 时，时，S(D) 就恒为就恒为 0 了所以在了所以在 A 点点 S(D) 是不连续的；是不连续的；4.2离散信源的信息率失真函数7/20/202487信息论与编码原理信息论与编码原理__信息率失真函数信息率失真函数4.2.2 4.2.2 二元及等概率离散信源的信息率失真函数二元及等概率离散信源的信息率失真函数二元及等概率离散信源的信息率失真函数二元及等概率离散信源的信息率失真函数(2) 信息率失真函数曲线图说明信息率失真函数曲线图说明ÿ 关于关于 S(D)q 当当 p=0.5 时，曲线延时，曲线延伸至伸至 D=0.5处，此时处，此时 Smax=0，故，故 S(D) 是连续是连续曲线，定义域为曲线，定义域为 D=0~0.5返回目录4.2离散信源的信息率失真函数7/20/202488信息论与编码原理信息论与编码原理__信息率失真函数信息率失真函数4.2.2 4.2.2 二元及等概率离散信源的信息率失真函数二元及等概率离散信源的信息率失真函数二元及等概率离散信源的信息率失真函数二元及等概率离散信源的信息率失真函数(3) 二元二元等概率等概率离散信源的率失真函数离散信源的率失真函数ÿ当上述二元信源呈等概率分布时，上面式子分别退化为：当上述二元信源呈等概率分布时，上面式子分别退化为：4.2离散信源的信息率失真函数7/20/202489信息论与编码原理信息论与编码原理__信息率失真函数信息率失真函数4.2.2 4.2.2 二元及等概率离散信源的信息率失真函数二元及等概率离散信源的信息率失真函数二元及等概率离散信源的信息率失真函数二元及等概率离散信源的信息率失真函数(3) 二元二元等概率等概率离散信源的率失真函数离散信源的率失真函数ÿ这个结论很容易推广到这个结论很容易推广到 n 元等概率信源的情况。

元等概率信源的情况返回目录4.2离散信源的信息率失真函数7/20/202490信息论与编码原理信息论与编码原理__信息率失真函数信息率失真函数4.3 连续信源的信息率失真函数连续信源的信息率失真函数4.3.1 连续信源的信息率失真函数的参量表达式连续信源的信息率失真函数的参量表达式4.3.2 高斯信源的信息率失真函数高斯信源的信息率失真函数7/20/202491信息论与编码原理信息论与编码原理__信息率失真函数信息率失真函数4.3.1 4.3.1 连续信源的信息率失真函数的参量表达式连续信源的信息率失真函数的参量表达式连续信源的信息率失真函数的参量表达式连续信源的信息率失真函数的参量表达式ÿ 条件条件q 信源：信源：X∈∈R=(－－∞,∞) q 信源信源 X 的概率密度函数为：的概率密度函数为：p(x)q 信道的传递概率密度函数为：信道的传递概率密度函数为：p(y /x)q 信宿：信宿：Y∈∈R=(－－∞,∞)q 信宿信宿 Y 的概率密度函数为：的概率密度函数为：p(y)q X 和和 Y 之间的失真度：之间的失真度：d(x,y)≥04.3连续信源的信息率失真函数7/20/202492信息论与编码原理信息论与编码原理__信息率失真函数信息率失真函数4.3.1 4.3.1 连续信源的信息率失真函数的参量表达式连续信源的信息率失真函数的参量表达式连续信源的信息率失真函数的参量表达式连续信源的信息率失真函数的参量表达式ÿ平均失真度为：平均失真度为：ÿ平均互信息为：平均互信息为：4.3连续信源的信息率失真函数7/20/202493信息论与编码原理信息论与编码原理__信息率失真函数信息率失真函数4.3.1 4.3.1 连续信源的信息率失真函数的参量表达式连续信源的信息率失真函数的参量表达式连续信源的信息率失真函数的参量表达式连续信源的信息率失真函数的参量表达式ÿPD为满足保真度准则为满足保真度准则 的所有试验信道集合。

的所有试验信道集合ÿ信息率失真函数为：信息率失真函数为：ÿ相当于离散信源中求极小值，严格地说，连续集合未必存相当于离散信源中求极小值，严格地说，连续集合未必存在极小值，但是一定存在下确界在极小值，但是一定存在下确界4.3连续信源的信息率失真函数7/20/202494信息论与编码原理信息论与编码原理__信息率失真函数信息率失真函数4.3.1 4.3.1 连续信源的信息率失真函数的参量表达式连续信源的信息率失真函数的参量表达式连续信源的信息率失真函数的参量表达式连续信源的信息率失真函数的参量表达式ÿR(D) 函数的参量表达式：函数的参量表达式：ÿ一般情况，在平均失真度一般情况，在平均失真度 积分存在情况下，积分存在情况下， R(D) 的的解存在，直接求解困难，用迭代算法计算机求解，只在特解存在，直接求解困难，用迭代算法计算机求解，只在特殊情况下求解比较简单殊情况下求解比较简单返回目录4.3连续信源的信息率失真函数7/20/202495信息论与编码原理信息论与编码原理__信息率失真函数信息率失真函数4.3.2 高斯信源的信息率失真函数高斯信源的信息率失真函数(1) 高斯信源特性及失真度高斯信源特性及失真度ÿ设连续信源的概率密度为设连续信源的概率密度为正态分布函数：正态分布函数：ÿ数学期望为：数学期望为：ÿ方差为：方差为：ÿ失真度失真度为为 d(x,y)=(x－－y)2，即把均方误差作为失真，表明通信系统中输，即把均方误差作为失真，表明通信系统中输入输出之间误差越大，失真越严重，严重程度随误差增大呈平方增长。

入输出之间误差越大，失真越严重，严重程度随误差增大呈平方增长4.3连续信源的信息率失真函数7/20/202496信息论与编码原理信息论与编码原理__信息率失真函数信息率失真函数4.3.2 高斯信源的信息率失真函数高斯信源的信息率失真函数(2) 高斯信源高斯信源 R(D) 的特性的特性ÿ当信源均值不为当信源均值不为 0 时，时，仍有这个结果，因为高仍有这个结果，因为高斯信源的熵只与随机变斯信源的熵只与随机变量的方差有关，与均值量的方差有关，与均值无关4.3连续信源的信息率失真函数7/20/202497信息论与编码原理信息论与编码原理__信息率失真函数信息率失真函数4.3.2 高斯信源的信息率失真函数高斯信源的信息率失真函数(2) 高斯信源高斯信源 R(D) 的特性的特性ÿ当当 D=σ2 时，时，R(D)=0 ：：这就是说，如果允许失这就是说，如果允许失真（均方误差）等于信真（均方误差）等于信源的方差，只需用确知源的方差，只需用确知的均值的均值 m 来表示信源的来表示信源的输出，不需要传送信源输出，不需要传送信源的任何实际输出的任何实际输出4.3连续信源的信息率失真函数7/20/202498信息论与编码原理信息论与编码原理__信息率失真函数信息率失真函数4.3.2 高斯信源的信息率失真函数高斯信源的信息率失真函数(2) 高斯信源高斯信源 R(D) 的特性的特性ÿ当当 D=0 时，时，R(D)→∞：：这点说明在连续信源情这点说明在连续信源情况下，要毫无失真地传况下，要毫无失真地传送信源的输出是不可能送信源的输出是不可能的。

即要毫无失真地传的即要毫无失真地传送信源的输出必须要求送信源的输出必须要求信道具有无限大的容量信道具有无限大的容量4.3连续信源的信息率失真函数7/20/202499信息论与编码原理信息论与编码原理__信息率失真函数信息率失真函数4.3.2 高斯信源的信息率失真函数高斯信源的信息率失真函数(2) 高斯信源高斯信源 R(D) 的特性的特性ÿ当当 0

由香农进制符号来传输由香农第三定理证明了这种压缩第三定理证明了这种压缩编码是存在的，然而实际编码是存在的，然而实际上要找到这种可实现的最上要找到这种可实现的最佳编码方法很困难的佳编码方法很困难的返回目录4.3连续信源的信息率失真函数7/20/2024101信息论与编码原理信息论与编码原理__信息率失真函数信息率失真函数4.4 信息率失真函数与信息价值信息率失真函数与信息价值ÿ信息价值信息价值比信息量更难定义，它与信息的接比信息量更难定义，它与信息的接收者有关同样的信息对不同的使用者，信收者有关同样的信息对不同的使用者，信息量相同但价值却不一样息量相同但价值却不一样ÿ香农信息论研究的是客观信息量，一般不涉香农信息论研究的是客观信息量，一般不涉及接收者的情况及接收者的情况ÿ从信息率失真理论出发，如果把平均失真理解成平从信息率失真理论出发，如果把平均失真理解成平均损失，则损失的大小就与接收者的情况有关了，均损失，则损失的大小就与接收者的情况有关了，在此基础上可定义信息价值，从而用信息论解决实在此基础上可定义信息价值，从而用信息论解决实际问题7/20/2024102信息论与编码原理信息论与编码原理__信息率失真函数信息率失真函数4.4 信息率失真函数与信息价值信息率失真函数与信息价值ÿ 例子说明：例子说明：q 信息价值信息价值随着信息率的增加而增加；随着信息率的增加而增加；q 获取信息要付出代价，得到信息会获得利益。

一般来说，获获取信息要付出代价，得到信息会获得利益一般来说，获得的信息越多，付出的代价也越大；得的信息越多，付出的代价也越大；q 信息价值的概念从理论上定量地证明了信息价值的概念从理论上定量地证明了信息是财富信息是财富的假说；的假说；q 进一步的研究证明：信息还可以代替进一步的研究证明：信息还可以代替人力人力、、物质物质、、能源能源和和资资本本，从而得到更多的，从而得到更多的经济利益经济利益ÿ 这些问题的深入讨论涉及到这些问题的深入讨论涉及到信息经济学信息经济学理论，属于理论，属于广义信广义信息论息论范畴返回目录7/20/2024103信息论与编码原理信息论与编码原理__信息率失真函数信息率失真函数4.5 信道容量与信息率失真函数的比较信道容量与信息率失真函数的比较 从数学上说，从数学上说，信道容量和信息率失真函数信道容量和信息率失真函数的问题，都是求的问题，都是求平均互信息平均互信息极值问题极值问题，有相仿之处，故常称为，有相仿之处，故常称为对偶问题对偶问题1) 求极值问题(2) 特 性(3) 解决的问题7/20/2024104信息论与编码原理信息论与编码原理__信息率失真函数信息率失真函数4.5 信道容量与信息率失真函数的比较信道容量与信息率失真函数的比较(1) 求极值问题求极值问题ÿ平均互信息平均互信息 I(X;Y) 是信源概率分布是信源概率分布 p(xi)(i=1,2,…,n) 或或概率密度函数概率密度函数 p(x) 的的上凸函数上凸函数。

根据上凸函数定义，如果根据上凸函数定义，如果 I(X;Y) 在定义域内对在定义域内对 p(xi) 或或 p(x) 的极值存在，则该极值的极值存在，则该极值一定是一定是极大值极大值信道容量信道容量就是在固定信道情况下，求平均就是在固定信道情况下，求平均互信息极大值的问题互信息极大值的问题，即：，即：7/20/2024105信息论与编码原理信息论与编码原理__信息率失真函数信息率失真函数4.5 信道容量与信息率失真函数的比较信道容量与信息率失真函数的比较(1) 求极值问题求极值问题ÿI(X;Y) 又是信道转移概率分布又是信道转移概率分布 p(yj /xi)(i=1,2,…,n；；j=1,2,…,m) 或条件概率密度函数或条件概率密度函数 p(y/x) 的的下凸函数下凸函数，因此，因此在满足保真度准则条件下，在满足保真度准则条件下， I(X;Y) 对对 p(yj /xi) 或或 p(y/x) 的的条件极值若存在，则一定是条件极值若存在，则一定是极小值极小值信息率失真函数就是信息率失真函数就是在试验信道（满足保真度准则的信道）中寻找平均互信息在试验信道（满足保真度准则的信道）中寻找平均互信息极小值的问题，即：极小值的问题，即：返回目录7/20/2024106信息论与编码原理信息论与编码原理__信息率失真函数信息率失真函数4.5 信道容量与信息率失真函数的比较信道容量与信息率失真函数的比较(2) 特特 性性ÿ信道容量信道容量 C 一旦求出后，就只与信道转移概率一旦求出后，就只与信道转移概率 p(yj /xi) 或或条件概率密度条件概率密度 p(y/x) 有关，反映有关，反映信道特性信道特性，与信源特性无，与信源特性无关；关；ÿ信息率失真函数信息率失真函数 R(D) 一旦求出后，就只与信源概率分布一旦求出后，就只与信源概率分布 p(xi) 或概率密度函数或概率密度函数 p(x) 有关，反映有关，反映信源特性信源特性，与信道特，与信道特性无关。

性无关返回目录7/20/2024107信息论与编码原理信息论与编码原理__信息率失真函数信息率失真函数4.5 信道容量与信息率失真函数的比较信道容量与信息率失真函数的比较(3) 解决的问题解决的问题ÿ信道容量信道容量是为了解决通信的是为了解决通信的可靠性可靠性问题，是信息传输的理问题，是信息传输的理论基础，通过论基础，通过信道编码信道编码增加信息的冗余度来实现；增加信息的冗余度来实现；ÿ信息率失真函数信息率失真函数是为了解决通信的是为了解决通信的有效性有效性问题，是信源压问题，是信源压缩的理论基础，通过缩的理论基础，通过信源编码信源编码减少信息的冗余度来实现减少信息的冗余度来实现返回目录7/20/2024108信息论与编码原理信息论与编码原理__信息率失真函数信息率失真函数4.6 保真度准则下的信源编码定理保真度准则下的信源编码定理ÿ设一离散平稳无记忆信源的输出随机变量序列为设一离散平稳无记忆信源的输出随机变量序列为X=(X1,X2,…,XL)，，若该信源的信息率失真函数是若该信源的信息率失真函数是 R(D)，，并选定有限的失真函数对于任意允许平均失真度并选定有限的失真函数对于任意允许平均失真度 D≥0，，和任意小的和任意小的ε>0，当信息率，当信息率 R>R(D) ，只要信源序列长度，只要信源序列长度 L 足够长，一定存在一种编码方式足够长，一定存在一种编码方式 C，使译码后的平均失真，使译码后的平均失真度度 ；；ÿ反之，若：反之，若：R

即译码平均失真必大于允许失真7/20/2024109信息论与编码原理信息论与编码原理__信息率失真函数信息率失真函数4.6 保真度准则下的信源编码定理保真度准则下的信源编码定理ÿ上述定理也称为上述定理也称为限失真信源编码定理限失真信源编码定理该定理可推广到连该定理可推广到连续平稳无记忆信源的情况续平稳无记忆信源的情况ÿ信息率失真函数也是一个界限只要信息率大于这个界限，信息率失真函数也是一个界限只要信息率大于这个界限，译码失真就可限制在给定的范围内即通信的过程中虽然译码失真就可限制在给定的范围内即通信的过程中虽然有失真，但仍能满足要求，否则就不能满足要求有失真，但仍能满足要求，否则就不能满足要求返回目录7/20/2024110信息论与编码原理信息论与编码原理__信息率失真函数信息率失真函数4.7 信息论信息论“三大定理三大定理”总结总结ÿ香农信息论的三个基本概念香农信息论的三个基本概念—信息熵信息熵、、信道容量信道容量、、信息率信息率失真函数失真函数，都是临界值，是从理论上衡量通信能否满足要，都是临界值，是从理论上衡量通信能否满足要求的重要界限求的重要界限ÿ香农的三个基本编码定理香农的三个基本编码定理—无失真信源编码定理无失真信源编码定理、、信道编信道编码定理码定理、、限失真信源编码定理限失真信源编码定理，这是三个理想编码的存在，这是三个理想编码的存在性定理。

分别又称为性定理分别又称为香农第一香农第一、、第二第二、、第三定理定理ÿ虽然三个定理都指出理想编码是存在的，但如何寻找编码虽然三个定理都指出理想编码是存在的，但如何寻找编码以及能否做到以及能否做到“理想编码理想编码”，则完全是另外一回事正是，则完全是另外一回事正是后面两章后面两章信源编码信源编码或或信道编码信道编码所要讨论的问题所要讨论的问题7/20/2024111信息论与编码原理信息论与编码原理__信息率失真函数信息率失真函数7/20/2024112信息论与编码原理信息论与编码原理__信息率失真函数信息率失真函数。