多媒体通信技术第2章 多媒体信息编码 .ppt

第2章 多媒体信息编码,2.1 引言 2.2 基本编码方法 2.3 图像编码标准 2.4 语音编码标准,2.1 引 言,表2.1 连续媒体数据类型特征举例,数据压缩处理一般由两个过程组成: 一是编码过程, 即对原始数据进行编码压缩, 以便存储和传输; 二是解码过程, 即对压缩的数据进行解压, 恢复成可用的数据根据解压后数据的保真度, 数据压缩技术可分为无损压缩编码和有损压缩编码两大类 　　无损压缩编码是指解码后的数据与原始数据完全相同, 无任何偏差这种编码通常基于信息熵原理, 常用的编码有哈夫曼编码、 算术编码、 行程编码等它的压缩能力与所处理数据的类型有关, 压缩比通常比较低, 一般在2∶1～5∶1主要用于要求数据无损压缩存储和传输的场合, 如机、文本文件传输等有损压缩编码是指解码后的数据与原始数据相比有一定的偏差, 但仍可保持一定的视听质量和效果 它主要利用人的视、听觉特性, 在保持一定保真度下对数据进行压缩, 其压缩比可达100∶1 压缩比愈高, 其解压缩后的视、 音频质量就愈低 这种编码方法有很多种, 如基于线性预测原理的预测编码、基于正交变换原理的正交变换编码、基于向量量化原理的向量量化编码、基于分层处理的分层编码以及基于频带分割原理的子带编码等。

主要用于对音频和视频数据的压缩多媒体信息编码技术主要侧重于有损压缩编码的研究 经过多年的研究与开发, 已经出台了一系列有关的国际标准其中, 最著名的是国际标准组织（ISO）制定的JPEG和MPEGJPEG是静止图像的压缩标准, 其压缩比可达40∶1 MPEG（MPEG-1、 MPEG-2及MPEG-4）是动态图像的压缩标准, 采用MPEG-2标准对NTSC质量视频进行压缩后, 网络带宽需求可降低到3.36 Mb/s 其它的标准还有国际电信联合会（ITU）制定的用于可视、 会议电视的H.261和H.263; 用于音频的G.711、 G.721、 G.728等2.2 基本编码方法,2.2.1 行程编码 行程编码是一种简单的无损压缩编码方法, 它通过压缩原始数据中相同的字节序列实现数据压缩在图像和声音数据中可能包含大量的相同字节连续重复的序列, 通过行程编码可以将这些重复字节压缩掉, 取而代之的是一个更加紧密的字节序列 例如, 一个原始数据字符串为RTTTTTTTTABBCDGHJK, 采用行程编码后的字符串为R＃8TABBCDGHJK, 这里用＃8T替换掉8个T字符, 符号“＃”是特殊标识符, 用于表示行程编码。

如果原始数据字符串也包含了“＃” 符号, 则必须用两个“＃” 符号替换掉原始数据字符串中的“＃” 符号2.2.2 哈夫曼编码 哈夫曼(Huffman)编码是一种无损压缩编码方法, 它根据信源符号出现的概率大小进行排序, 出现的概率大的符号分配短码, 反之分配长码 在分配代码过程中, 需要建立一个n阶二叉树, 其编码过程如下: ① 对信源符号按其出现的概率进行递减排序; ② 将两个最小的概率相加, 其和作为新符号的概率; ③ 重复①和②, 直到概率之和达到1为止; ④ 每次合并消息时, 将被合并的消息赋予1和0或者0和1; ⑤ 寻找从每个信源符号到概率为1处的路径, 记录下路径上的1和0; ⑥ 从树根节点到叶子节点, 对每个信源符号列出0、 1序列例如, A、B、C、D四个字符出现的概率分别为: P(A)=3/4; P(B)=1/8; P(C)=1/16; P(D)=1/16, 按照上述编码过程将生成如图2.1所示的二叉树, 获得的编码结果是: H(A)=1; H(B)=01; H(C)=001; H(D)=000, 该结果存放在哈夫曼表中2.2.3 离散余弦变换编码,变换编码主要有离散傅立叶变换(DFT)编码、 离散余弦变换(DCT)编码等。

其中, DCT编码方法被普遍使用, 在JPEG、 MPEG和H.261等标准中都采用了DCT编码 由于声音信号只有一个时间维, 因此音频信号压缩采用一维DCT编码, 而图像压缩必须考虑水平和垂直两个方向, 因此图像压缩则采用二维DCT编码,DCT编码方法是对一个8×8图像块灰度样本数据流进行压缩, 而彩色图像压缩可看成是压缩图像的多个分量在编码器中, 首先将源图像8×8样本数据块（像素块）的取值范围由［0, 2p-1］（无符号）转换成［-2p-1, 2p-1-1］（有符号）, 其中p为样本定义的精度 然后对8×8样本数据块进行正向离散余弦变换（FDCT）在解码器中, 利用逆向离散余弦变换（IDCT）重建8×8样本数据块, 恢复图像 FDCT和IDCT的数学表达式如(1)式和(2)式所示:,式中：,u,v=00 其它,源图像8×8样本数据块实质上是64点离散信号（空间范围x和y的函数）, FDCT将其变换成64个正交基信号, FDCT的输出是64个DCT系数（即基信号振幅） 在x、 y两个方向频率都为零的系数叫直流系数（DC）, 其余63个系数是交流系数（AC） 由于图像帧上点与点之间的样本值变化比较缓慢, 大多数信号集中在低频区。

2.2.4 差分脉冲编码调制,图 2.2 DPCM编解码器原理框图（a） DPCM编码器; (b) DPCM解码器,2.2.5 运动补偿预测编码,运动补偿预测编码是一种主要用于动态图像的压缩的预测编码动态图像是由一系列视频帧组成, 帧与帧之间可能存在着瞬时冗余, 这种瞬时冗余主要是由静态背景前的运动物体或摄像机的移动引起的运动补偿预测编码主要通过帧间编码来压缩时间冗余信息 其基本原理如下: 　　① 在视频帧序列中设置参照帧, 且第1帧总是参照帧 　　② 对于当前的编码帧, 首先在该帧的前帧和/或后帧（参照帧）中寻找与该帧的一个图像块相匹配的图像块③ 如果找到这样的块, 则进行下列计算: 　　·当前块的块亮度值与参照帧中对应块（称参照块）的块亮度值之间的差值信号（DPCM码）; 　　·当前块相对于参照块在x和y两个方向上的运动向量值, 表示该块在x和y方向上的平移 通过定义一个搜索域来限制x和y方向上的搜索范围, 以降低运动信息的开销; 　·用差值信号和运动向量值来表示参照块与所预测块之间的误差, 称为预测误差 　　这时, 只需对当前块的运动向量值和预测误差进行编码, 不必对当前块的图像进行编码, 以压缩时间冗余信息。

④ 如果找不到这样的块, 则必须进行帧内编码, 即对当前块的图像进行编码 　　运动补偿预测编码可分成下列三种方式: 　　① 单向运动补偿预测: 只使用前参照帧或后参照帧之一进行预测 　　② 双向运动补偿预测: 使用前、 后两个帧作为参照帧来计算各块的运动向量, 最后只选择具有最小匹配误差的参照帧相关的运动向量值 　　③ 插值运动补偿预测: 使用前参照帧和后参照帧两者预测值的平均值这时, 必须分别存储和传输这两个运动向量2.3 图像编码标准,2.3.1 JPEG标准 JPEG（Joint Photographic Experts Group）是ISO为制定有关静态图像压缩标准而成立的一个专家组, 现已公布了JPEG标准, 标准号为ISO CD10918 JPEG作为一种静态图像压缩编码的国际标准, 在实际中得到广泛的应用 JPEG图像压缩技术具有如下特点: 　　① 能够大范围地调节图像压缩率及其相应的图像保真度, 解码器可参数化使用户在具体应用时可以选择所期望的压缩率/质量比② 能够应用于任何连续色调数字源图像（实际应用中可能遇到的图像有很多种, 故不限制图像的尺寸、 色彩级差、 像素长宽比等条件）, 不限制图像的景象内容（如复杂性、色彩范围或统计特性）。

　　③ 能够在具有一定能力的CPU上实现所要求的功能, 以利于操纵复杂的计算软件, 并用可接受的硬件成本实现具有高性能要求的应用④ 规定了4种运行模式, 以满足各种需要: 　　·顺序编码: 按从左到右、 从上到下的顺序对图像进行扫描和编码 这种模式是基准模式, 各种JPEG实现都要支持这种模式 　　·递增编码: 对于变换时间较长的扫描器, 按由粗到细的过程, 以复合扫描顺序进行图像编码 　　·无损编码: 保证准确地恢复图像所有样本值的图像编码 与有损模式相比, 其压缩比低 　　·分层编码: 以多种分辨率进行图像编码, 可直接获得低分辨率图像, 重建复原全图1. JPEG图像模型 JPEG标准采用一种通用的图像模型, 能够适用大多数常用的二维图像格式这种图像模型是从各种图像格式和应用中抽象出来的, 而且只包括那些压缩和重构数字图像所必需的数据 JPEG压缩数据格式没有提供关于表示完整图像的编码信息例如, JPEG没有定义和编码任何有关像素尺寸比、色彩间隔和图像获取特点等信息  通常, JPEG的一帧源图像包含有1~255个图像成分, 称为颜色平面或组元。

每个组元是一个样本点矩阵, 样本定义的精度为p位, 取值范围是［0, 2p-1］, 所有成分的所有样本点精度都是同一个p对基于DCT的Codec, p取8或12; 对基于DPCM的Codec, p取2~16每个平面沿水平和垂直方向的像素数可能是不同的, 但必须使用同样多的位数对所有平面的所有像素进行编码例如, 颜色平面可以分配给RGB（红、 绿、 蓝）三色, 也可以分配给YUV（一个亮度和两个色度）, 各种模型都定义自己的精度 灰度图一般由一个组元构成; GB彩图有三个等分辨率的组元; YUV彩图通常对图的色度组元衰减采样, 以减少存储量 例如, 采用4∶1∶1形式, 色度的水平和垂直分辨率组元只是亮度的一半 这主要基于如下事实: 人的视觉对亮度组元十分敏感, 对色度组元的敏感性较低图2.3 像素块和“之”字形处理顺序(a) 8×８像素块； (b) “之”字形顺序,2. JPEG编码方法,图2.4 DCT编码和解码过程（a）DCT编码过程;　（b） DCT解码过程,在编码器中, 首先由FDCT对源图像8×8样本数据块进行正向离散余弦变换, FDCT将输出64个DCT系数, 其中1个是直流系数（DC）, 其余63个是交流系数（AC）。

 量化器对FDCT输出的每个DCT系数进行量化处理量化的目的是去除那些无显著视觉意义的高频信息在量化时, 每个DCT系数与量化表中的64个元素进行舍取运算量化表是由开发者指定并输入到编码器中 量化计算公式如下:,经过量化处理后, DC系数从63个AC系数中分离出来进行单独处理, 因为DC系数代表了相当一部分图像信息所有的量化系数按“之”字形顺序排列, 低频系数将排在高频系数之前, 以利于实现熵编码  在熵编码处理之前, 先对DC系数进行DPCM编码, 对AC系数进行行程编码由于大多数AC系数都为零, 只有少数不为零, 行程编码将压缩AC系数中零值序列, 对非零系数进行有效编码 行程编码分为两步处理: 先将量化的DCT系数转换成中间符号序列, 再向符号分配可变长代码中间符号序列是一种双符号序列 对于AC系数, 符号1表示两部分信息: 行程和位长, 行程取值为0~15, 位长取值0~10; 符号2表示振幅信息, 即非零系数大小对于DC系数, 符号1表示位长信息, 符号2表示振幅信息由于DC系数有别于AC系数, 故它的符号1取值范围是1~11为其分配的代码是可变长的, 以便于使用熵编码进行压缩处理。

 熵编码是按DCT系数的统计特征对量化系数进一步编码, 实现无损压缩JPEG规定了两种熵编码方法: 哈夫曼编码和算术编码 对于哈夫曼编码所需的哈夫曼表, JPEG标准没有作具体规定, 这由开发者根据应用需要来决定。