mpeg-4技术及应用综述.doc

MPEG-4技术及应用综述概述关于图象视频压缩已有nX384kbps电视会议H.120建议、pX64kbps视频编 码标准H.261、连续色调静止图 象压缩标准JPEG、PSTN等低比特率活动图象 压缩标准H.263 o 1988年ISO与CCITT成立活动图象专家组MPEG （MovingPictureExpertsGroup）,研究数字存储媒体上的活动图象及其伴音的编码 表示』992年通过1.5Mbps编码标准MPEG-1,1994年通过2Mbps、30Mbps高质 量视频音频编码标准MPEG-2O以上标准均偏重于某（几）个应用领域,交互性较差, 至多允许视频序列可变速度的双向播放，可重用性只限于矩形视频区域及其相关 音频的线性片段，无法在同一场景集成自然信息与合成信息,不能提供对各种网络 的一致性访问，容错性、灵活性和可扩展性比较差MPEG于1991年5月提出关于视频音频编码的MPEG-4项目，设系统、 音频、视频、需求、实现研究、测试及自然合成混合编码（SNHC）子组,1998 年11月成为国际标准MPEG-4提供更强的交互能力场景中的每个对象独立 编码,用户可以选择性地与其中某（几）个对象交互,具有良好的重用性。

重新组合 音视对象AVO （AudioVisualObject）构造新场景，可以集成各种对象，无缝地集成 自然信息与合成信息，实时信息与存储信息,AVO可以是单/双/多声道音频信息、 单/双/多镜头2D/3D视频信息可以透明地访问信息,通过各种网络传输的信息最 终映射为本地信息，整个过程给用户的感觉就如同访问本地信息而且允许基于 内容（比特率、分辨率、帧率、防错保护和解码优先级）的可伸缩性和服务质量 （QoS）参数，更加灵活,可扩展，充分考虑未来技术的发展及应用需求，将解码器可 编程能力分为:不可编程的标准工具集合（Flex-0）；由标准化工具及其接口灵活 配置的算法（Flex-1）；多种工具构成可能算法的标准化可扩展机制（Flex.2）二.技术部分MPEG-4引入了对象基表达(object-based representation)的概念，用来表 达视听对象A VO(audio/visual objects)； MPEG-4扩充了编码的数据类型，由自然 数据对象扩展到计算机生成的合成数据对象，采用合成对象/1H然对象混合编码 SNHC(Synthetic/Natural Hybrid Coding)算法；在实现交互功能和重用对象中引入 了组合、合成和编排等重要概念。

MPEG-4 • |•制定了一个称为传输多媒体集成框 架 DMIF(Delivery Multimedia Integration Framework)的会话协议，它用来管理多 媒体数据流该协议在原则上与文件传输协议FTP(File Transfer Protocol)类似， 其差别是:FTP返回的是数据，而DMIF返回的是指向到何处获取数据流的指针 DMIF覆盖了三种主要技术：广播技术，交互网络技术和光盘技术MPEG-4将应用在移动通信和公用交换网PSTN(public switched telephone network )上,并支持可视(videophone)> 电视邮件(video mail)、电 子报纸(electronic newspapers)和其他低数据传输速率场合下的应用MPEG-4 的标准名是 Very-low bitrate audio-visual coding (M-低速率视听编 码)截止到1998年9月，己作为国际标准草案DIS (Draft International Standard) 的MPEG-4文件有5个部分，它们是：%1 MPEG-4 系统标准，标准名是 ISO/EC DIS 14496-1 Very-low bitrate audio-visual coding - Part 1: Systemso%1 MPEG-4 电视图象标准，标准名是 ISO/EC DIS 14496-2 Very low bitrate audio-visual coding -Part 2: Video□%1 MPEG-4 声音标准，标准名是 ISO/IEC DIS 14496-3 Very low bitrate audio-visual coding - Part3: AudiOo%1 MPEG-4 一致性测试标准，标准名是ISO/IEC DIS 14496-4 Very-low bitrate audio-visual coding -Part 4: Conformance Testingo%1 MPEG-4 参考软件,标准名是 ISO/EC DIS 14496-5 Very-low bitrate audio-visual coding - Part5: Reference software%1 MPEG-4传输多媒体集成框架，标准名是ISO/IEC DIS 14496-6 Very-low bitrate audio-visual coding - Part 6: Delivery Multimedia Integration Framework(DMIF)o2.2 MPEG-4标准的范围和特点MPEG-4标准提供了一整套技术来满足作者的需要、服务提供商和最终 用户的偏好。

对于作者来讲，MPEG-4使得基于内容的产品成为现实，这种产品具有 大得多的可用性，具有比现在的独立技术例如数字电视、动态图象、WWW网页 及其扩展技术所能提供的更大的灵活性而且，现在有可能进行更好的管理和著 作权的保护对于网络服务提供商来说，MPEG-4提供了透明的信息，它能够在相对 标准的实体的帮助下解释并翻译成每个网络相应的本地信号讯息不仅预先考虑 到服务质量(QoS), MPEG-4还为不同的媒介提供一•个通用的QoS描述符为 每种媒质从QoS的参数设置到网络服务质量的精确翻译超出了 MPEG-4的范围, 留给了网络提供商端到端的发送MPEG-4媒质 QoS描述符就能够在异种网 络间进行传输优化对于最终用户来说，MPEG-4在作者所置的限制内提供更高水平的内容 交互它也为新兴网络，包括那些应用相对•低速率的网络以及移动网络提供多媒 体服务MPEG主页上的一份MPEG-4应用文档描述了很多最终用户应用，包 括交互式多媒体广播和移动通信对所有相关方面，MPEG力求避免大量的所有权、非交错格式和播放器的 使用为实现以上目标，MPEG-4提供标准化方式来：1. 代表语音、视觉或语音视觉内容的单元，称为”媒体对象”。

这些媒体 对象可能来自自然或合成源；这就是说他们能够被相机或话筒所记录，或者由计 算机产生；2. 描述这些对象的组合以创建构成语音视频屏幕的组合媒体对象；3. 复用和同步与媒体对象相关的数据，这样他们能在提供了适于特殊媒 体对象特性的QoS的网络通道上传输；而旦4. 与接收端产生的语音视频景象交互2.2.1媒体对象的编码表示MPEG-4语音视频场景由一些媒体对•象组成，以分层方式组织起来在这层次结构中，我们找到了基本的媒体对象，例如：*静态图象（例如固定背景）*视频对象（例如正在说话的人-没有背景）*语音对象（例如和这个人相关的声音）MPEG-4把这样大量的能够表现2-D或3-D自然和合成内容类型的基本媒 体对象标准化附加在上面提到的、除媒体对象之外，MPEG-4定义了如下对象 的编码表示法，*文本和图形；*文本和图形；*用来合成语言和运动头部的正在讲话的合成的头部和相关的文本；*合成的声音编码形式的媒体对象是由在语音视频景象中处理该对象的描述元素和相 关流数据组成重要的是在编码形式下每个媒体对象都能独立与它的环境或背景 独立表现考虑到要求的功能，这种媒体对象的编码表示法是尽可能的高效的。

这些功能包括差错鲁棒性、易释性和可编辑性2.2.2媒体对象的组合基本媒体对象相应于描述树中的叶子，而组合媒体对象包含了整个子 树例如：相应于正在说话的人的视频对•象和相应的声音捆绑在-•起形成-•个新 的组合媒体对象，包含了那个人的语音和视频部分这样的组成允许作者构建复杂的景象，使客户能处理有意义的对象更普遍地，MPEG-4提供了一种描述景象的标准化方式，例如允许：*在给定坐标系内随处放置媒体对象；*应用变换来改变媒体对象的几何和声学表现；*整合基本媒体对象以形成组合媒体对象；*应用流数据于媒体对象以更改属性（例如声音，属于某对象的移动中的文本，驱动合成面孔的动态参数成面孔的动态参数;*交互式地改变用户在景象中的任何视听点景象描述是建立在来自于对象合成结点的结构和功能意义上的虚拟现实 （VRML）的一些基本概念而且扩展为完全实现上述特点2.2.3媒体对象流数据的描述和同步一个MPEG-4影音场景的例子媒体对象可能需要在一个或多个基本流 中传输的流数据对象描述符把与媒体对象相关的所有流中区分开来这就允许 处理分层编码数据、内容变化信息的联系（称?quot;对象内容信息”）和相关的知 识产权。

每个流自身由一套配置信息的描述符所区别，例如用来决定需要编码源 和编码的时间信息精度而且描述符可以携带传输需要的QoS的线索（例如最 大位速率、位差错速率、优先级等）基本流的同步是通过基本流内单个访问单 元的时标实现的同步层管诰皮 姆梦实褪北甑氮侗稹6懒（15）诿教骞噌椭 狭貌阍市硼侗鸠酬梦实睦嘈突指疵教宥韵蠡蚓跋竺杭跑氮被 夷茉谄流洎迪滞 健8貌愕挠馒h梢远嘀址绞脚渲茫 市碓谛矶哦低持惺褂谩？2.2.4流数据的传输在不同QoS的网络中从源到目的的流信息的同步传输，是由上述的同步 层和包含两子层的复合传输层确定的第一个复用层根据MPEG-4标准的Part6 中的DMIF规范进行管理这种复用可在MPEG定义的FlexMux工具中体现, 该工具允许以低复用费用组合基本流（ESS）例如该层的复用可用来组合相似 QoS需求的基本流，减少网络连接数或者端■端延迟，TransMux （传输复用）层 搭建了提供匹配需求QoS的传输服务的层MPEG-4仅确定了该层的接口而具 体的数据包和控制信号的规划必须与各传输协议上有权的实体进行协商任何现 存的合适的传输协议栈，例如（RTP） /UDP/IP、（AAL5） /ATM或者MPEG-2 在适合链路层上的传输流都可能成为TransMux的实例。

选择权留给了最终用户 和服务提供商，而允许MPEG-4用于广泛的运行环境中FlexMux复用工具的使用是可选的，如果下层的TransMux实例提供了所 有要求的功能，该层必须为空而同步层总是存在的以下是可行的:1. 识别访问单元，传输时标和时钟参考信息以及检测数据丢失；2. 传输控制信息以实现：*为每个基本流和FlexMux流指示需要的QoS；*翻译这样的QoS需求为实际网络资源；*连接基本流到媒体对象；*转换基本流的映射为FlexMux和TransMux通道部分控制功能在和DMIF框架这样的传输控制实体联结后才可实现2.2.5与媒体对象交互总体来说用户看到的是依据作者设计组合而成的影象然而，用户和影 象交互的可能性依赖于作者所允许的自由度用户可能被允许进行的操作包括： *改变景象的视/听点，例如在景象中漫游；*把景象中的对象拖到不同的位置上；*点击特定对象以触发一系列事件，例如开始或终止视频流；*多语言音轨时选择想要的语言更复杂的动作也能被触发，例如一个虚拟的铃响，用户接听并建立通 信链路2.2.6知识产权的管理和识别能够在MPEG-4媒体对象中识别出知识产权是重要的为支持这一-点， MP。