视音频、流媒体、图像编码标准综述.doc

视音频、流媒体、图像编码标准综述 一 视频编码综述     1. MPEG标准的发展     MPEG是Moving Pictures Experts Group（动态图像专家组）的缩写是一个致力于数字视频、音频技术发展及标准化的杰出组织，它是ISO（International Standard Organization）与IEC（International Electronic Committee）在1988年联合成立的，正规的组织代号是ISO/IEC JTCI/SC29/WG11，成员专家来自于不同国家的最有业界影响力的研发机构     在十多年的时间里，MPEG组织取得了丰硕的成果，自身也有了很大的发展1992年11月，MPEG-1被批准，并于1993年被ISO组织接纳为国际标准；1994年11月，MPEG-2标准发布，并在1995年成为国际标准；MPEG-4标准则于1999年和2001年分别有了版本1和版本2；目前，H.264/MPEG-4 AVC（即 ISO MPEG-4 Part 10）正在制定之中     2. ISO MPEG-1 标准     MPEG-1 制定于1992年，为工业级标准而设计，编号为ISO/IEC 11172。

MPEG-1针对CIF标准分辨率（NTSC制为352×240；PAL制为352×288）的图像进行压缩，并在标准中规定了视音频信息经过压缩后的数据码率最大为1.5MbpsMPEG-1可实现在不同带宽的设备，如CD-ROM、Video-CD等数字媒体上进行存储，也可以在局域网、ISDN网上进行视音频信息的传输     3. ISO MPEG-2 标准     MPEG组织在1994年推出了MPEG-2压缩标准，并在1995年成为国际标准，编号为ISO/IEC13818MPEG-2标准是针对标准数字电视和高清晰度电视在各种应用下的压缩方案和系统层的详细规定，编码码率可达100MbpsMPEG-2不是MPEG-1的简单升级，它在系统和传送方面作了更加详细的规定和进一步的完善MPEG-2特别适用于广播级的数字电视的编码和传送，被认定为SDTV和HDTV的编码标准     (1)MPEG-2标准的构成     MPEG-2标准目前分为9个部分，各部分的内容描述如下：     1) 第一部分－ISO/IEC13818-1，System：系统，描述多个视频，音频和数据基本码流合成传输码流和节目码流的方式。

     2) 第二部分－ISO/IEC13818-2，Video：视频，描述视频编码方法     3) 第三部分－ISO/IEC13818-3，Audio：音频，描述与MPEG-1音频标准反向兼容的音频编码方法     4) 第四部分－ISO/IEC13818-4，Compliance：符合测试，描述测试一个编码码流是否符合MPEG-2码流的方法     5) 第五部分－ISO/IEC13818-5，Software：软件，描述了MPEG-2标准的第一、二、三部分的软件实现方法     6) 第六部分－ISO/IEC13818-6，DSM-CC：数字存储媒体-命令与控制，描述交互式多媒体网络中服务器与用户间的会话信令集     以上六个部分均已获得通过，成为正式的国际标准，并在数字电视等领域中得到了广泛的实际应用此外，MPEG-2标准还有三个部分：第七部分规定与MPEG-1音频非反向兼容的多通道音频编码；第八部分现已停止；第九部分规定了传送码流的实时接口     (2)MPEG-2编解码原理     MPEG-2视频压缩的原理是利用了图像中的两种特性：空间相关性和时间相关性这两种相关性使得图像中存在大量的冗余信息。

为了能够有效的去除图像中的冗余信息，MPEG-2标准中将编码图像被分为三类，分别称为I帧，P帧和B帧I帧图像采用帧内编码方式P帧和B帧图像采用帧间编码方式P帧图像只采用前向时间预测，B帧图像采用双向时间预测，可以大大提高压缩倍数     MPEG-2的编码码流分为六个层次，从上至下依次为：视频序列层（Sequence），图像组层（GOP：Group of Picture），图像层（Picture），像条层（Slice），宏块层（MacroBlock）和像块层（Block）     在帧内编码的情况下，编码图像仅经过DCT，量化器和比特流编码器即生成编码比特流在帧间编码的情况下，原始图像首先与帧存储器中的预测图像进行比较，计算出运动矢量，由此运动矢量和参考帧生成原始图像的预测图像而后，将原始图像与预测像素差值所生成的差分图像数据进行DCT变换，再经过量化器和比特流编码器生成输出的编码比特流     (3)MPEG-2中的Profile@Level     现有MPEG-2视频标准的技术规范集包括5类（Profile）4级（Level）组成，并采用分级编码类和集的若干组合构成MPEG-2标准在某种特定应用下的子集。

     级（Level）是指MPEG-2的输入格式，标识从有限清晰度的VHS 质量图像到HDTV图像，每一种输入格式编码后都有一个相应的范围共分4级：     1) 低级LL(Low Level)，图像输入格式的像素是ITU-R Rec.BT 601格式的1/4，即352×240×30或352×288×25     2) 主级ML(Main Level)，图像输入格式符合ITU-R Rec.BT 601格式，即720×480×30或720×576×25     3) 1440高级H14L（High 1440 Level），图像宽高比为4∶3，采用1440×1080×30的高清晰度格式     4) 高级HL（High Level），图像宽高比为16∶9，采用1920×1080×30的高清晰度格式     类（Profile）是指MPEG-2的不同处理方法，每一类都包括压缩和处理方法的一个集合，较高的类意味着采用较多的编码工具集，进行更精细的处理，达到更好的图像质量，同时实现的代价也更大共分5类：     1) 简单类SP（Simple Profile），使用最少的编码工具集     2) 主类MP（Main Profile），它比简单类增加了一种双向预测方法，在相同比特率的情况下，将给出比简单类更好的图像。

     3) 信噪比可分级类SNRP（SNR Scaleable Profile）和空域可分级类SPP（Spatially Scaleable Profile），这两种类允许将编码的视频数据分为基本层和附加层，提供了一种多种广播的方式     4) 高级类HP（High Profile），应用于图像质量、比特率要求更高的场合     (4)MPEG-2的特点及应用     MPEG-2具有以下几个突出特点：①支持的图像分辨率最高，包括符合ITU-RRec.601（CCIR601）格式的标准分辨率的数字电视和更高分辨率的HDTV②支持包括高速体育运动在内的各种活动图像③支持的应用最为广泛，既包括存储媒体中的DVD，广播电视中的数字广播电视和HDTV，还可应用于交互式的视频点播（VOD）和准视频点播（NVOD）④还能够适配ATM等宽带通信网     4. ISO MPEG-4标准     MPEG-4于1998年10月定案，在1999年1月成为一个国际性标准，随后为扩展用途又进行了第二版的开发，于2001年有了其第二个版本MPEG-4的国际标准编号为ISO/IEC14496MPEG-4的特点是其更适于交互AV服务以及远程监控，是一个有交互性的动态图像标准。

     (1)MPEG-4标准的构成     1) 多媒体传送整体框架（DMIF）：主要解决交互网络中、广播环境下以及磁盘应用中多媒体应用的操作问题通过DMIF，MPEG-4可以建立起具有特殊品质服务（QoS）的信道和面向每个基本流的带宽     2) 数据平面：MPEG-4中的数据平面可以分为传输关系和媒体关系两部分，并引用了对象描述（OD）和流图桌面（SMT）的概念，使基本流和AV对象在同一场景中出现     3) 缓冲区管理和实时识别：MPEG-4定义了一个系统解码模式（SDM），该解码模式描述了一种理想的处理比特流句法语义的解码装置，它要求特殊的缓冲区和实时模式通过有效地管理，可以更好地利用有限的缓冲区空间     4) 视频编码：MPEG-4支持对自然和合成的视觉对象的编码，合成的视觉对象包括2D、3D动画和人面部表情动画等     5) 音频编码：MPEG-4不仅支持自然声音，而且支持合成声音它将音频的合成编码和自然声音的编码相结合，并支持音频的对象特征     6) 场景描述：场景描述主要用于描述各AV对象在具体AV场景下，如何组织与同步等问题，同时还有AV对象与AV场景的知识产权保护等问题。

     (2)MPEG-4编解码原理     a. 基本思想     MPEG-4编解码的基本思想是基于图像内容的第二代视频编解码方案，并将基于合成的编码方案也结合在标准中它根据图像的内容将图像分割成不同的视频对象VO（Video Object），在编码过程中对前景对象和后景对象采用不同的编码策略，对于人们所关心的前景对象，则尽可能的保持对象的细节及平滑，而对不大关心的后景对象采用大压缩比的编码策略     b. 编解码的数据结构     MPEG-4按照如下五个层次组织要编码的图像，从上至下依次为：视频段VS（Video Session）、视频对象VO（Video Object）、视频对象层VOL（Video Object Layer）、视频对象组层GOV（Group of Video Object Plane）、视频对象平面VOP（Video Object Plane）     在MPEG-4中，VO主要被定义为画面中分割出来的不同物体，每个VO有三类信息来描述：运动信息、形状信息、纹理信息VO的构成依赖于具体应用和系统实际所处环境，在要求超低比特率的情况下，VO可以是一个矩形帧（即传统MPEG-1中的矩形帧），从而与原来的标准兼容；对于基于内容的表示要求较高的应用来说，VO可能是场景中的某一物体或某一层面，如新闻节目中的解说员的头肩像 ；VO也可能是计算机产生的二维、三维图形等。

     c. VOP编码器结构     编码器主要由两部分组成：形状编码和传统的运动纹理编码，其中形状编码是MPEG-4在编码任意形状的VOP时所必须的     d. MPEG-4的编解码流程及框架     MPEG-4的编码流程：第一步是VO的形成（VO Formation），先要从原始视频流中分割出VO，之后由编码控制（Coding control）机制为不同的VO以及各个VO的三类信息分配码率，之后各个VO分别独立编码，最后将各个VO的码流复合成一个位流其中，在编码控制和复合阶段可以加入用户的交互控制或由智能化的算法进行控制现在的MPEG-4包含了基于网格模型的编码和Sprite技术在进行图像分析后，先考察每个VO是否符合一个模型，典型的如人头肩像，如是就按模型编码；再考虑背景能否采用Sprite技术，如是则将背景生产一幅大图，为每帧产生一个仿射变换和一个位置信息即可；最后才对其余的VO按上述流程编码MPEG-4的解码流程则基本上为编码器的反过程，这里不再赘述。