通信原理第七章教材.ppt

1 数字通信原理数字通信原理_7_7 信源与信源编码信源与信源编码 2 7.2 信源的分类及其统计特性描述 n 信源编码的主要目的：提高传输效率； n 信源编码的基本思想：根据信源的统计特性，去除消息中 的冗余成分； n 信源编码的主要类别： (1)无失真的信源编码：编码和译码是可逆的，译码后可 无失真地恢复原来的信息； (2)限失真的信源编码：研究如何在满足失真不大于某一 值的条件下，任何获得最有效的传输效率； 应用限失真信源编码的物理基础：人的视觉、听觉的分 辨率均有极限，超过某一门限人无法分辨其差异： 图像灰度等级：8bits，语音等级：16/24bits 第七章第七章 信源与信源编码信源与信源编码 3 7.2 信源的分类及其统计特性描述 n 信源的分类 离散信源：只有有限种符号(状态)的信源：如文字、数据、 抽样量化后的样值； 连续信源：取值连续或有无限多种状态的信源：未经抽样量 化（数字化）的信号，如模拟的语音、图像和视频等 第七章第七章 信源与信源编码信源与信源编码 4 7.3 信息熵H（X） n 离散信源的平均信息量离散信源的平均信息量------信源的熵信源的熵 定义，离散信源X的熵为： 离散信源的熵是统计意义上信源每个符号的平均信息量。

离散信源的最大熵定理离散信源的最大熵定理：当离散信源X取等概分布时，其熵 H(X)取最大值 例：两个信源符号的 情形 P(x1)=p,P(x2)=1-p 当p=1/2时，H(X)=Hmax 第七章第七章 信源与信源编码信源与信源编码 5 7.3 信息熵H（X） n 离散信源的平均信息量离散信源的平均信息量------信源的熵信源的熵 利用信源的熵，可以方便地了解信源输出平均每个符号所携带的 信息量； 在符号间独立的情况下估算某则消息序列所包含的总信息量 利用离散的最大信源熵定理，我们可以知道应如何改造信源的特 性，才能使得每个符号能够携带最多的信息量 第七章第七章 信源与信源编码信源与信源编码 6 7.3 信息熵H（X） n 两离散信源及他们的平均统计量两离散信源及他们的平均统计量 设有两离散信源 X、Y 联合熵联合熵： 统计上两符号同时出现时，平均能够提供的信息量 条件熵条件熵： Y出现后，X仍存在的平均平均“不确定性” 同理可定义H(Y/X) 第七章第七章 信源与信源编码信源与信源编码 7 7.4 互信息I（X;Y) n 两离散信源及他们的平均统计量两离散信源及他们的平均统计量 平均互信息量平均互信息量： 平均每个X(或Y)中的符号能够提供每个Y(或X)符号的信息； X(或Y)的出现能够消除关于Y(或X)的平均“不确定性”。

第七章第七章 信源与信源编码信源与信源编码 8 7.4 互信息I（X;Y) n 各种熵、平均互信息量之间的关系各种熵、平均互信息量之间的关系 (1) 若X与Y统计独立，则： (2) 其中H(X/Y)为Y出现后，仍然存在的关于X的平均不确定性； H(X/Y)也称为疑义度疑义度 由I(X,Y)的对称性，有 第七章第七章 信源与信源编码信源与信源编码 9 7.4 互信息I（X;Y) n 各种熵、平均互信息量之间的关系（续）各种熵、平均互信息量之间的关系（续） 由I(X,Y)定义及关系式： 可得， 若X、Y统计独立，有 则 X(或Y)不能提供有关Y(或X)的信息 第七章第七章 信源与信源编码信源与信源编码 10 7.4 互信息I（X;Y) n 各种熵、平均互信息量之间的关系（续）各种熵、平均互信息量之间的关系（续） (3) 熵：符号信息量的统计平均值 第七章第七章 信源与信源编码信源与信源编码 11 7.4 互信息I（X;Y) n 各种熵、平均互信息量之间的关系（续）各种熵、平均互信息量之间的关系（续） (4) 当信源X与Y统计独立时 两个符号同时出现时提供的平均信息量等于每个符号的平 均信息量之和； 一个符号不能提供有关另一符号的任何信息。

第七章第七章 信源与信源编码信源与信源编码 12 7.4 互信息I（X;Y) n 各种熵、平均互信息量之间的关系（续）各种熵、平均互信息量之间的关系（续） (5) 当两个信源相关时联合熵小于两个信源的熵的和； 平均互信息量等于量信源熵重合的部分； 信源的条件熵等于其熵减去平均互信息量 第七章第七章 信源与信源编码信源与信源编码 13 7.4 互信息I（X;Y) n 各种熵、平均互信息量之间的关系（续）各种熵、平均互信息量之间的关系（续） 由上页所示的关系，易得如下结论 第七章第七章 信源与信源编码信源与信源编码 14 7.6 无失真离散信源编码 n 变长编码定理变长编码定理 香农(Shannon)第一变长编码定理 当L足够大式，给定任意的 ，若 其中 是平均的编码长度，则可以找到一种编码方法， 使译码的差错 编码效率定义 通常变长编码通常比等长编码有更高的效率 第七章第七章 信源与信源编码信源与信源编码 15 7.6 无失真离散信源编码 n 变变长编码 对出现概率大的符号用较短的码字，概率小的符号用较长的 码字，使平均的码字长度尽可能的短，以提高编码效率 例 对下面的信源进行不等长编码 (异字头码) 第七章第七章 信源与信源编码信源与信源编码 16 7.6 无失真离散信源编码 n 变变长编码 哈夫曼(Huffman)编码 哈夫曼编码应用的条件：信源的统计特性已知 哈夫曼编码是一种最佳的不等长编码 哈夫曼编码 第七章第七章 信源与信源编码信源与信源编码 17 7.6 无失真离散信源编码 哈夫曼编码的步骤： (1)将M信源符号按概率大小，以递减次序，从上到下排成一列； (2)对处于最下面的概率最小的r个信源符号，一一对应地分别赋 予码符号a1、a2、…、ar，把这r个概率最小的信源符号相应的概 率相加，所得的值用一个虚拟的符号代表，与余下的M－r个符号 组成含有(M-r)+1个符号的第一次缩减信源S1； (3)对缩减信源S1仍按其概率大小以递减次序从上到下排列，按照 步骤(2)的方法处理，得到一个含有[(M-r)+1]-r+1个符号的第二 次缩减信源S2； (4)按照上述的方法，依次继续下去，每次缩减所减少的符号数是 r-1个；只要缩减后的信源Si符号的个数大于r，缩减就继续进行 ； (5)当进行第k次缩减后信源Sk符号个数刚好等于r，即有 则对最后这r个符号分别赋予符号a1、a2、…、ar； 第七章第七章 信源与信源编码信源与信源编码 18 7.6 无失真离散信源编码 n 变变长编码（续） 哈夫曼编码的步骤(续)： (6)从最后赋予的码符号开始，沿着每一信源符号在各次缩减过程 中得到的码符号进行路线前向返回，达至每一信源符号，按前后 次序，把返回路途中所遇到的码符号排成符号序列，这个序列， 就是相应终点信源符号对应的码字； (7)若进行k次缩减后，当进行第k次缩减后信源Sk符号个数不等于 r，即有 则中止缩减，增加 个概率为0的虚假信源 符号 重新编码，使在k次编码后一定有 。

第七章第七章 信源与信源编码信源与信源编码 19 7.7 信息率失真R(D)函数 n 失真的概念 失真是指用某种尺度衡量的实际的信源样值 与信号经过变化 后对应值 之差，记为 常用的失真度量可以有： 第七章第七章 信源与信源编码信源与信源编码 20 7.7 信息率失真R(D)函数 n 失真的概念（续） 一般的，n个样值组成的序列的失真度量 若序列是随机变量，则定义失真为(统计平均值) 第七章第七章 信源与信源编码信源与信源编码 21 7.7 信息率失真R(D)函数 n 率失真函数 设有一个无记忆信源，其连续幅度输出 的概率密度函数pdf 是p(x)，量化后的幅度值符号集为 ， 每个符号的失真度是 为了以小于等于D的失真度表示信源的输出X，每个信源符号需 要的最低比特数称为率失真函数率失真函数 第七章第七章 信源与信源编码信源与信源编码 22 7.7 信息率失真R(D)函数 n 率失真函数（续） 无记忆高斯信源的率失真函数（香农率失真定理） 如果用每个符号的均方误差来度量失真，要表示一个时间离散 ，幅度连续的输出所需的最低信息速率应为 第七章第七章 信源与信源编码信源与信源编码 23 7.8 限失真信源编码定理与 限失真信源编码 对于任意给定的失真D，一定存在一种最小速率R(D)比特/符号 (抽样)的编码方式，能够把信源输出编成符合下列条件的码字， 该码字能够与任意接近D的平均失真恢复出信源输出。

D与R(D)之间的关系 已经证明(伯杰1971)：在指定均方误差时，较之其它信源， 高斯信源所需要的速率最大，即任何一个均值为0，方差 为有 限值，幅度连续的信源都满足 第七章第七章 信源与信源编码信源与信源编码 24 数字通信原理数字通信原理_7_2_7_2 信源与信源编码信源与信源编码 25 7.9 7.9 连续信源的限失真编码连续信源的限失真编码 n 抽样、量化； n 脉冲编码调制(PCM)； n 差分脉冲编码调制(DPCM)： 第七章第七章 信源与信源编码信源与信源编码 26 7.9 7.9 连续信源的限失真编码连续信源的限失真编码 n 信号抽样 1、低通采样定理低通采样定理 若采用间隔TS小于等于1/(2fM)，则频谱不超过fM赫兹的带 限信号可由其等间隔的采样值惟一确定 采用频率fS＝2fM称为奈奎斯特频率奈奎斯特频率 2、采样方式采样方式 冲激采样冲激采样x x s s (t)(t) 冲激序列: 采样输出： 第七章第七章 信源与信源编码信源与信源编码 27 7.9 7.9 连续信源的限失真编码连续信源的限失真编码 冲激采样示例 第七章第七章 信源与信源编码信源与信源编码 28 7.9 7.9 连续信源的限失真编码连续信源的限失真编码 n 信号抽样(续) 冲激采样冲激采样x x s s (t)(t)的傅氏变换的傅氏变换 (1)当fS  2fM，无混叠现象，信号可无失真恢复 (2)当fS  2fM，有混叠现象，信号难以无失真恢复 第七章第七章 信源与信源编码信源与信源编码 29 7.9 7.9 连续信源的限失真编码连续信源的限失真编码 n 信号抽样(续) 自然采样自然采样 定义自然采用序列： 自然采样序列的傅氏变换： 采样序列确定后，cn为常数，可用滤波器无失真地恢复原信号 第七章第七章 信源与信源编码信源与信源编码 30 7.9 7.9 连续信源的限失真编码连续信源的限失真编码 自然采样示例 第七章第七章 信源与信源编码信源与信源编码 31 7.9 7.9 连续信源的限失真编码连续信源的限失真编码 n 信号抽样(续) 平顶采样平顶采样 一种物理上易于实现的抽样方式 第七章第七章 信源与信源编码信源与信源编码 x x s(t) (t)x(t)x(t) 32 7.9 7.9 连续信源的限失真编码连续信源的限失真编码 平顶采样平顶采样( (续续) ) 平顶抽样输出： 平顶采样的傅氏变换： 由于 （ ）加权引入的失真称为“孔径失真孔径失真”。

第七章第七章 信源与信源编码信源与信源编码 33 7.9 7.9 连续信源的限失真编码连续信源的限失真编码 平顶采样平顶采样( (续续) ) 平顶采样平顶采样“ “孔径失真孔径失真” ”的校正的校正： 接收信号输出端用滤波器PC(f)＝1/P(f)作补偿，其中： 第七章第七章 信源与信源编码信源与信源编码 34 7.9 7.9 连续信源的限失真编码连续信源的限失真编码 n 混叠及混叠的消除 混叠混叠：由于抽样频率降低到fS 1 时， 一般地有 利用(*)式，得 上式中，利用了变换后均匀量化时：y＝x＝ 第七章第七章 信源与信源编码信源与信源编码 55 7.9 7.9 连续信源的限失真编码连续信源的限失真编码 n 最优的非均匀量化最优的非均匀量化 可以证明，给定信号的幅度取值分布特性p(。