Chapter3流媒体编解码技术.ppt

Chapter 3Chapter 3流媒体编解码技术流媒体编解码技术13.1 MPEG 3.1 MPEG 简介简介vMPEGMPEG：：Moving Pictures Experts GroupMoving Pictures Experts Group（运（运动图像专家组）动图像专家组）v负责制订适用于数字存储媒介、电视广播和负责制订适用于数字存储媒介、电视广播和通信等应用场合的视频和音频数据的压缩编通信等应用场合的视频和音频数据的压缩编码标准码标准vMEPG-1MEPG-1，，MEPG-2MEPG-2，，MEPG-4MEPG-4，，MEPG-7 MEPG-7 和和 MEPG- MEPG-212123.2 MPEG-1 3.2 MPEG-1 和和 MPEG-2 MPEG-2 标准标准vMPEG-1 MPEG-1 标准全称：标准全称：Coding of Moving Pictures Coding of Moving Pictures and Associated Audio for Digital Storage and Associated Audio for Digital Storage Media at up to about 1.5Mbp/sMedia at up to about 1.5Mbp/svMPEG-1 MPEG-1 标准包括五个部分：系统层；图像层；声音标准包括五个部分：系统层；图像层；声音层；一致性测试层；软件仿真技术报告。

层；一致性测试层；软件仿真技术报告v第一部分说明了如何根据第二部分（视频）以及第第一部分说明了如何根据第二部分（视频）以及第三部分（音频）的规定，对音频和视频进行复合编三部分（音频）的规定，对音频和视频进行复合编码v第四部分说明了检验解码器或编码器的输出比特流第四部分说明了检验解码器或编码器的输出比特流符合前三部分规定的过程符合前三部分规定的过程v第五部分是一个用完整的第五部分是一个用完整的C C语言实现的编码和解码器语言实现的编码和解码器vMPEG-2 MPEG-2 标准全称：标准全称：Generic Coding of Moving Generic Coding of Moving Pictures and Associated Audio InformationPictures and Associated Audio Information33.2.1 MPEG-1/-2 3.2.1 MPEG-1/-2 标准中的三种编码类型图像标准中的三种编码类型图像vI I 帧帧v采用帧内采用帧内DCT（离散余弦变换）编码（离散余弦变换）编码v只利用单帧图像内的空间相关性只利用单帧图像内的空间相关性v由于由于I帧不依赖其它帧，所以是随机存取的插入点，同时是解码的基准帧。

帧不依赖其它帧，所以是随机存取的插入点，同时是解码的基准帧vI帧图像可作为帧图像可作为B帧和帧和P帧图像的预测参考帧帧图像的预测参考帧vI帧图像是周期性出现在图像序列中的，出现频率可由编码器选择帧图像是周期性出现在图像序列中的，出现频率可由编码器选择 vP P 帧帧v根据前面最靠近的根据前面最靠近的I帧或帧或P帧进行前向预测帧进行前向预测v采用带运动补偿的帧间预测编码方式采用带运动补偿的帧间预测编码方式v同时利用空间和时间上的相关性同时利用空间和时间上的相关性vB B 帧帧v双向预测内插帧双向预测内插帧v既用已传输的在视频序列中处于该帧前的既用已传输的在视频序列中处于该帧前的“过去过去”帧（帧（I帧或帧或P帧）作预测参考帧）作预测参考帧进行前向运动补偿预测；又用后面的帧进行前向运动补偿预测；又用后面的“未来未来”帧（帧（I帧或帧或P帧）作预测参帧）作预测参考帧，进行后向运动补偿预测考帧，进行后向运动补偿预测vB帧不能用来作为其他帧进行运动补偿预测的参考帧帧不能用来作为其他帧进行运动补偿预测的参考帧v采用采用B帧进行双向运动补偿预测是帧进行双向运动补偿预测是MPEG算法的一个重要特点适合解决景物算法的一个重要特点。

适合解决景物中由于物体运动对被遮挡区的预测困难中由于物体运动对被遮挡区的预测困难v如对双向预测的结果进行平均，可降低噪声，因此使序列图像的编码效率提如对双向预测的结果进行平均，可降低噪声，因此使序列图像的编码效率提高高 43.2.2 3.2.2 视频码流的分层结构视频码流的分层结构v视频数据经过压缩编码后形成视频基本码流视频数据经过压缩编码后形成视频基本码流（（ESES））vMPEG MPEG 用句法规定了一个分层结构用句法规定了一个分层结构v对分层要求：支持通用性、灵活性和有效性对分层要求：支持通用性、灵活性和有效性vMPEG MPEG 视频基本码流的分层结构视频基本码流的分层结构5vMPEGMPEG视频基本码流的分层结构：视频基本码流的分层结构：63.2.2 3.2.2 视频码流的分层结构视频码流的分层结构——GOP——GOP层（图像组层）层（图像组层）v在两个参考帧之间插入几个在两个参考帧之间插入几个B B帧？帧？vB B帧数目的增加会降低帧数目的增加会降低B B帧和参考帧之间以及帧和参考帧之间以及参考帧与参考帧之间的相关性；参考帧与参考帧之间的相关性；vB B帧数目的增加要求增大参考帧中运动估计的帧数目的增加要求增大参考帧中运动估计的搜索范围；搜索范围；vB B帧数目的增加会增加接收的延迟时间和要求帧数目的增加会增加接收的延迟时间和要求增加接收机内缓存器的容量。

增加接收机内缓存器的容量73.2.2 3.2.2 视频码流的分层结构视频码流的分层结构————图像层图像层v包括不同编码类型的图像，即包括不同编码类型的图像，即I I、、B B、、P P帧帧v1. MPEG-11. MPEG-1中，逐行扫描（帧格式）；中，逐行扫描（帧格式）；v亮度和色度的采样格式是亮度和色度的采样格式是 4:2:0 4:2:0v2. MPEG-22. MPEG-2中，逐行或隔行（场格式）扫描；中，逐行或隔行（场格式）扫描；v亮度和色度的采样格式是亮度和色度的采样格式是 4:2:0 4:2:0 或或 4:2:2 4:2:2 或或 4:4:4 4:4:483.2.2 3.2.2 视频码流的分层结构视频码流的分层结构————宏块条层宏块条层v包括若干个连续宏块，其顺序和行扫描顺序包括若干个连续宏块，其顺序和行扫描顺序一致一致v从一个宏块行（从一个宏块行（1616行宽）的任何一个宏块开行宽）的任何一个宏块开始始vMPEG-2 MP@ML MPEG-2 MP@ML 中，一个宏块条必须在同一宏中，一个宏块条必须在同一宏块行中起始和结束，且一个宏块条至少包括块行中起始和结束，且一个宏块条至少包括一个宏块一个宏块v比特流重新同步的基本单元比特流重新同步的基本单元93.2.2 3.2.2 视频码流的分层结构视频码流的分层结构————宏块层宏块层v运动补偿预测的基本单元。

运动补偿预测的基本单元vMPEG MPEG 算法在算法在 P P 帧和帧和 B B 帧中以宏块为单位自帧中以宏块为单位自适应地选择合适的运动补偿预测模式（在适应地选择合适的运动补偿预测模式（在 I I 帧中全部宏块都采用帧内编码模式）帧中全部宏块都采用帧内编码模式）vP P 帧中的宏块采用前向运动补偿预测模式；帧中的宏块采用前向运动补偿预测模式；当预测效果不佳时，切换到帧内编码模式当预测效果不佳时，切换到帧内编码模式vB B 帧中的宏块采用何种模式取决于哪一种模帧中的宏块采用何种模式取决于哪一种模式下对该宏块进行编码时所需的比特数最少式下对该宏块进行编码时所需的比特数最少103.2.2 3.2.2 视频码流的分层结构视频码流的分层结构————像块层像块层vMPEG MPEG 算法中最小的编码单位算法中最小的编码单位v8×8 8×8 个像素个像素v亮度信号（亮度信号（Y Y）、色差信号）、色差信号 Cb Cb 或或 Cr Cr 三种图三种图像信息中的一种信息像信息中的一种信息vDCT DCT 的基本单元的基本单元113.2.3 MPEG-1/-2 3.2.3 MPEG-1/-2 视频编码关键技术视频编码关键技术vMPEG-1/-2 MPEG-1/-2 视频压缩的原理：利用序列图像中的视频压缩的原理：利用序列图像中的空间相关性和时间相关性。

空间相关性和时间相关性v空间相关性：一个像素与其周围的某些像素在亮空间相关性：一个像素与其周围的某些像素在亮度和色度上存在的关系度和色度上存在的关系v时间相关性：一个视频序列中前后帧图像间存在时间相关性：一个视频序列中前后帧图像间存在的关系的关系v采用带运动补偿的帧间预测编码和帧内采用带运动补偿的帧间预测编码和帧内 DCT DCT 编编码相结合的方案码相结合的方案v帧内编码与帧间编码流程的区别：是否经过预测帧内编码与帧间编码流程的区别：是否经过预测环的处理环的处理123.2.3 MPEG-1/-2 3.2.3 MPEG-1/-2 视频编码关键技术（视频编码关键技术（Cont’dCont’d））v1. 1. 离散余弦变换（离散余弦变换（DCTDCT））v2. 2. 量化器量化器v3. “3. “之之””字形扫描与游程编码字形扫描与游程编码v4. 4. 熵编码熵编码v5. 5. 运动估计运动估计v6. 6. 运动补偿运动补偿133.2.4 MPEG-2 3.2.4 MPEG-2 和和 MPEG-1 MPEG-1 的区别的区别1. MPEG-2 1. MPEG-2 定义了定义了“Profile”“Profile”和和“Level”“Level”的概念的概念v规定了规定了6 6个语法子集（个语法子集（ProfileProfile）：）：Simple Profile, Simple Profile, Main Profile, 4:2:2 Profile, SNR Scalable Profile, Main Profile, 4:2:2 Profile, SNR Scalable Profile, Spatial Profile, High ProfileSpatial Profile, High Profilev按编码图像的分辨率分成按编码图像的分辨率分成4 4个个 Levels Levels：：High Level, High Level, High-1440 Level, Main Level, Low LevelHigh-1440 Level, Main Level, Low LevelvProfile Profile 规定了可以使用哪些语法因素，以及如何使规定了可以使用哪些语法因素，以及如何使用这些语法元素；用这些语法元素；Level Level 规定了这些语法元素的取值规定了这些语法元素的取值范围范围143.2.4 MPEG-2 3.2.4 MPEG-2 和和 MPEG-1 MPEG-1 的区别（的区别（Cont’dCont’d））2. MPEG-2 2. MPEG-2 有有““按帧编码按帧编码””和和““按场编码按场编码””两两种模式种模式vMPEG-1 MPEG-1 只支持逐行扫描；只支持逐行扫描；vMPEG-2 MPEG-2 支持逐行扫描和隔行扫描，支持逐行扫描和隔行扫描，v针对隔行扫描的常规电视图像专门设置了针对隔行扫描的常规电视图像专门设置了““按帧编码按帧编码””和和““按场编码按场编码””两种模式。

两种模式vMPEG-1 MPEG-1 中，宏块被逐行地分割成像块；中，宏块被逐行地分割成像块；vMPEG-2 MPEG-2 中，逐行扫描图像采用逐行分割方中，逐行扫描图像采用逐行分割方式；隔行扫描的帧图像采用逐行分割与隔行式；隔行扫描的帧图像采用逐行分割与隔行分割两种方式分割两种方式153.2.4 MPEG-2 3.2.4 MPEG-2 和和 MPEG-1 MPEG-1 的区别（的区别（Cont’dCont’d））3. MPEG-2 3. MPEG-2 增加了可分级性增加了可分级性v（（1 1）空间可分级性）空间可分级性v（（2 2）时间可分级性）时间可分级性v（（3 3）信噪比可分级性）信噪比可分级性163.3 MPEG-4 3.3 MPEG-4 视频编码标准视频编码标准v为了支持众多的多媒体应用，为了支持众多的多媒体应用，MPEG-4 MPEG-4 视频标准将支视频标准将支持持8 8种新的功能，这种新的功能，这8 8种新功能可归为种新功能可归为3 3类：类：v1. 1. 基于内容的交互性基于内容的交互性v（（1 1）基于内容的多媒体数据存取工具）基于内容的多媒体数据存取工具vMPEG-4MPEG-4通过使用各种存取工具，例如索引、超链接、通过使用各种存取工具，例如索引、超链接、查询、浏览、下载、上载、删除，提供基于音查询、浏览、下载、上载、删除，提供基于音/ /视频视频内容的数据存取。

内容的数据存取v（（2 2）基于内容的码流操纵和编辑）基于内容的码流操纵和编辑 vMPEG-4MPEG-4的基于内容的编码表示，允许对景物种的视的基于内容的编码表示，允许对景物种的视频对象进行灵活的解码、表示与操纵频对象进行灵活的解码、表示与操纵 17v（（3 3）自然数据与合成数据的混合编码）自然数据与合成数据的混合编码vMPEG-4MPEG-4支持一种有效的组合方法，用于自然或对象支持一种有效的组合方法，用于自然或对象与合成的景物或对象的组合（如文本和图形的覆盖）与合成的景物或对象的组合（如文本和图形的覆盖），并具有对自然和合成音，并具有对自然和合成音/ /视频数据进行编码和处理视频数据进行编码和处理的能力，的能力，vMPEG-4MPEG-4还支持解码器可控制的方法，该方法可将合还支持解码器可控制的方法，该方法可将合成数据和原始音成数据和原始音/ /视频组合在一起且便于交互视频组合在一起且便于交互 v（（4 4）增强的时间域随机存取）增强的时间域随机存取vMPEG-4MPEG-4提供一种有效的存取方法，能在有限的时间提供一种有效的存取方法，能在有限的时间间隔内，以较高的分辨率，随机地从某个音间隔内，以较高的分辨率，随机地从某个音/ /视频序视频序列中存取其中的一部分（如视频帧或任意形状的图列中存取其中的一部分（如视频帧或任意形状的图像内容）。

像内容） 18v2. 2. 高压缩比高压缩比v针对需要对视听信息进行有效存储（或传送）针对需要对视听信息进行有效存储（或传送）及同步的应用，将增强如及同步的应用，将增强如InternetInternet上的信息上的信息浏览、虚拟现实等一些已有的应用浏览、虚拟现实等一些已有的应用v（（1 1）改进的编码效率）改进的编码效率v（（2 2）对多个并发数据流的编码）对多个并发数据流的编码v对一景物的多视角进行有效的编码对一景物的多视角进行有效的编码 v3. 3. 灵活多样的存取灵活多样的存取 193.4 MPEG-7 3.4 MPEG-7 标准标准vISO/IEC 15938 ISO/IEC 15938 v正式名称：多媒体内容描述接口（正式名称：多媒体内容描述接口（Multimedia Multimedia Content Description InterfaceContent Description Interface））v是一种多媒体内容描述的标准，而非信息压缩编是一种多媒体内容描述的标准，而非信息压缩编码标准码标准v定义了描述符、描述语言和描述方案，以便于处定义了描述符、描述语言和描述方案，以便于处理多媒体内容理多媒体内容v主要目标是对多媒体信息内容进行各种标准化的主要目标是对多媒体信息内容进行各种标准化的描述和有效的检索描述和有效的检索203.4 MPEG-7 3.4 MPEG-7 标准标准————应用应用v1. “1. “拉拉””应用应用v（（1 1）视频数据库的存储和检索）视频数据库的存储和检索v（（2 2）专业媒体制作方面的图片和视频提交）专业媒体制作方面的图片和视频提交v（（3 3）商业音乐应用（卡拉）商业音乐应用（卡拉OKOK和音乐销售）和音乐销售）v（（4 4）声音效果库）声音效果库v（（5 5）历史语言数据库）历史语言数据库v（（6 6）通过听觉事件进行电影场景检索）通过听觉事件进行电影场景检索v（（7 7）商标库的注册和检索）商标库的注册和检索213.4 MPEG-7 3.4 MPEG-7 标准标准————应用应用v2. “2. “推推””应用应用v（（1 1）用户代理驱动的媒体选择和过滤）用户代理驱动的媒体选择和过滤v（（2 2）个性化电视服务）个性化电视服务v（（3 3）智能多媒体表现）智能多媒体表现v（（4 4）个性化浏览、过滤和搜索）个性化浏览、过滤和搜索v（（5 5）特殊的信息存取）特殊的信息存取223.4 MPEG-7 3.4 MPEG-7 标准标准————应用应用v3. 3. 特殊的专业应用和控制应用特殊的专业应用和控制应用v（（1 1）远程购物）远程购物v（（2 2）医学应用）医学应用v（（3 3）遥感应用）遥感应用v（（4 4）教育应用）教育应用v（（5 5）监测应用）监测应用v（（6 6）基于视觉的控制）基于视觉的控制233.4.2 MPEG-7 3.4.2 MPEG-7 与与 MPEG MPEG 系列其他标准的关系系列其他标准的关系v应用背景：应用背景：vMPEG-1MPEG-1用于多媒体和用于多媒体和 VHS VHS 质量的广播电视；质量的广播电视；vMPEG-2MPEG-2用于常规数字电视和高清晰度电视；用于常规数字电视和高清晰度电视；vMPEG-4MPEG-4用于无线窄带可视通信以及可视电视；用于无线窄带可视通信以及可视电视；v从一个角度来看，从一个角度来看，MPEG-1MPEG-1、、 MPEG-2 MPEG-2和和MPEG-4MPEG-4均涉及到均涉及到视听信息的编码表示，在某种意义上，编码可看作是一视听信息的编码表示，在某种意义上，编码可看作是一种描述，因而种描述，因而MPEG-7MPEG-7与与MPEGMPEG的其他标准有共同点的其他标准有共同点v另一方面，另一方面，MPEG-7MPEG-7与其他标准相对独立，其宗旨是为信与其他标准相对独立，其宗旨是为信息时代的人们提供多媒体服务，实现的关键在于建立多息时代的人们提供多媒体服务，实现的关键在于建立多媒体数据库和相应的搜索引擎之间的接口媒体数据库和相应的搜索引擎之间的接口v共同遵循的原则：只规定最后的数据格式，而不管采用共同遵循的原则：只规定最后的数据格式，而不管采用何种方法获得这些数据格式何种方法获得这些数据格式243.5 MPEG-21 3.5 MPEG-21 标准标准vISO/IEC 21000ISO/IEC 21000v正式名称：多媒体框架（正式名称：多媒体框架（Multimedia FrameworkMultimedia Framework）。

其制订工作于其制订工作于20002000年年6 6月开始v创建一个开放的多媒体传输和消费的框架，通过将创建一个开放的多媒体传输和消费的框架，通过将不同的协议、标准和技术结合在一起，使用户可以不同的协议、标准和技术结合在一起，使用户可以通过现有的各种网络和设备透明地使用网络上的多通过现有的各种网络和设备透明地使用网络上的多媒体资源媒体资源vMPEG-21 MPEG-21 中的用户可以是任何个人、团体、组织、中的用户可以是任何个人、团体、组织、公司、政府和其它主体，在公司、政府和其它主体，在 MPEG-21 MPEG-21 中，用户在数中，用户在数字项的使用上拥有自己的权力，包括用户出版字项的使用上拥有自己的权力，包括用户出版/ /发行发行内容的保护、用户的使用权和用户隐私权等内容的保护、用户的使用权和用户隐私权等253.5 MPEG-21 3.5 MPEG-21 标准（标准（Cont’dCont’d））v包括包括7 7个基本要素：数字项声明（个基本要素：数字项声明（Digital Item Digital Item DeclarationDeclaration），数字项识别和描述，内容处理和使），数字项识别和描述，内容处理和使用，知识产权管理和保护，终端和网络，内容表示，用，知识产权管理和保护，终端和网络，内容表示，事件报告。

事件报告v数字项是数字项是 MPEG-21 MPEG-21 框架中的基本单元，它由资源、框架中的基本单元，它由资源、原数据（原数据（metadatametadata）和结构共同组成，是一个带有）和结构共同组成，是一个带有标准化的结构化数字对象标准化的结构化数字对象v要素中的资源包括采用要素中的资源包括采用 MPEG-1 MPEG-1、、MPEG-2MPEG-2、、MPEG-MPEG-4 4 标准的多媒体信息标准的多媒体信息v通过数字项的定义，通过数字项的定义，MPEG-21 MPEG-21 集成了集成了 MPEG MPEG 系列的系列的其它标准，因此其它标准，因此 MPEG-21 MPEG-21 是建立在其它标准的基础是建立在其它标准的基础之上的263.5 MPEG-21 3.5 MPEG-21 标准（标准（Cont’dCont’d））v支持以下功能：内容创建，内容生产，内容分配，支持以下功能：内容创建，内容生产，内容分配，内容的消费和使用，内容的分组，知识产权管理和内容的消费和使用，内容的分组，知识产权管理和保护，内容识别和描述，用户权限，终端和网络资保护，内容识别和描述，用户权限，终端和网络资源提取，内容表示和事件报告等。

源提取，内容表示和事件报告等v从商业内容和与内容相关服务的前景等角度开发从商业内容和与内容相关服务的前景等角度开发v同已有的其它同已有的其它 MPEG MPEG 系列标准等进行适当结合，从系列标准等进行适当结合，从而使用户对视频、音频的处理更加方便和有效，最而使用户对视频、音频的处理更加方便和有效，最终为多媒体信息的用户在全球范围内提供透明而有终为多媒体信息的用户在全球范围内提供透明而有效的视频通信应用环境效的视频通信应用环境vMPEG-21 MPEG-21 的出台可以将现有的标准统一起来，消费的出台可以将现有的标准统一起来，消费者将可以自由使用音视频内容而不被不兼容的格式、者将可以自由使用音视频内容而不被不兼容的格式、编解码器、媒体数据类型及诸如此类的东西所干扰编解码器、媒体数据类型及诸如此类的东西所干扰273.6 H.261 3.6 H.261 标准标准v正式名称：正式名称：P×64Kb/sP×64Kb/s（（P=1~30P=1~30）视听业务的视频）视听业务的视频编解码器编解码器vP P＝＝1 1或或2 2时，仅支持时，仅支持 QCIF QCIF 的输入图像格式，用于帧的输入图像格式，用于帧频低的可视；频低的可视；vP P≥6 6时，支持时，支持 CIF CIF 的输入图像格式的会议电视的输入图像格式的会议电视v利用利用 CIF CIF 格式，可使各国使用的不同制式的电视信格式，可使各国使用的不同制式的电视信号变换为通用中间格式，然后输入给编码器，从而号变换为通用中间格式，然后输入给编码器，从而使编码器本身考虑信号是来自哪种制式的。

使编码器本身考虑信号是来自哪种制式的v核心：采用带有运动补偿的预测编码以及基于核心：采用带有运动补偿的预测编码以及基于 DCT DCT 的变换编码相结合的混合编码方法的变换编码相结合的混合编码方法283.6 H.261 3.6 H.261 标准（标准（Cont’dCont’d））v3.6.1 3.6.1 视频编码器原理视频编码器原理v3.6.2 3.6.2 视频数据复用格式视频数据复用格式293.6.3 3.6.3 压缩编码模式压缩编码模式v基本判决准则：哪一种模式给出较小的编码基本判决准则：哪一种模式给出较小的编码比特，就采用这种模式比特，就采用这种模式v运动估计以运动估计以16×1616×16像素的宏块为单位进行，像素的宏块为单位进行，搜索范围为搜索范围为±15±15v采用全搜索的块匹配算法计算运动矢量采用全搜索的块匹配算法计算运动矢量v使用二维空域滤波器对使用二维空域滤波器对8×88×8预测块内的像素预测块内的像素进行操作，可以改进预测过程进行操作，可以改进预测过程303.6.4 3.6.4 量化编码量化编码v3232个线性量化器个线性量化器v一个用于帧内一个用于帧内 DCT DCT 变化的直流分量；其余变化的直流分量；其余3131个用于个用于交流分量。

交流分量v除帧内除帧内 DCT DCT 的直流分量，一个宏块内使用同一个量的直流分量，一个宏块内使用同一个量化器v帧内直流分量是一个量化步长为帧内直流分量是一个量化步长为8 8的线性量化器，其的线性量化器，其余余3131个量化器的量化步长为个量化器的量化步长为2 2，，4 4，，……，，6262v量化器的选择由编码控制器决定量化器的选择由编码控制器决定vDCT DCT 变换后的变换后的8×88×8系数块中的各个系数按系数块中的各个系数按““之之””字字型扫描，便于量化后编码型扫描，便于量化后编码313.7 H.263 3.7 H.263 标准标准vv是是是是ITU-TITU-TITU-TITU-T为低码率会议电视为低码率会议电视为低码率会议电视为低码率会议电视/ / / /可视系统制定可视系统制定可视系统制定可视系统制定的视频编码标准的视频编码标准的视频编码标准的视频编码标准vv支持的输入图像格式：支持的输入图像格式：支持的输入图像格式：支持的输入图像格式：Sub-QCIFSub-QCIFSub-QCIFSub-QCIF（（（（128×96128×96128×96128×96）、）、）、）、QCIFQCIFQCIFQCIF、、、、CIFCIFCIFCIF、、、、4CIF 4CIF 4CIF 4CIF 或者或者或者或者 16CIF 16CIF 16CIF 16CIF 的彩色的彩色的彩色的彩色 4:2:0 4:2:0 4:2:0 4:2:0 亚取样图像亚取样图像亚取样图像亚取样图像vv8×8 DCT8×8 DCT8×8 DCT8×8 DCT变换变换变换变换vv宏块使用相同的量化步长宏块使用相同的量化步长宏块使用相同的量化步长宏块使用相同的量化步长vv一个宏块使用一个运动矢量；或宏块的每个子一个宏块使用一个运动矢量；或宏块的每个子一个宏块使用一个运动矢量；或宏块的每个子一个宏块使用一个运动矢量；或宏块的每个子块各使用一个运动矢量块各使用一个运动矢量块各使用一个运动矢量块各使用一个运动矢量 —— —— —— ——块运动补偿能力，改善帧间预测块运动补偿能力，改善帧间预测块运动补偿能力，改善帧间预测块运动补偿能力，改善帧间预测vv采用半像素精度的运动补偿采用半像素精度的运动补偿采用半像素精度的运动补偿采用半像素精度的运动补偿323.7 H.263 3.7 H.263 标准标准 （（Cont’dCont’d））v与与H.261H.261相比，增加的压缩编码模式：相比，增加的压缩编码模式：v（（1 1）无限制的运动矢量模式）无限制的运动矢量模式v（（2 2）基于句法的算术编码模式）基于句法的算术编码模式v（（3 3）先进的预测模式）先进的预测模式v（（4 4））PB-PB-帧模式帧模式333.8 H.263+ 3.8 H.263+ 和和 H.263++ H.263++ 标准标准vH.263+ H.263+ 允许更大范围的图像输入格式，自定义了图允许更大范围的图像输入格式，自定义了图像的尺寸，从而拓宽了标准使用的范围，使之可以像的尺寸，从而拓宽了标准使用的范围，使之可以处理基于视窗的计算机图像、更高帧频的图像序列处理基于视窗的计算机图像、更高帧频的图像序列及宽屏图像。

及宽屏图像v为提高压缩效率：采用先进的帧内编码模式；增强为提高压缩效率：采用先进的帧内编码模式；增强的的PB-PB-帧模式改进了帧模式改进了 H.263 H.263 的不足，增强了帧间预的不足，增强了帧间预测的效果；去块效应滤波器不仅提高了压缩效率，测的效果；去块效应滤波器不仅提高了压缩效率，且提供重建图像的主观质量且提供重建图像的主观质量v为适应网络传输：增加了时间分级、信噪比和空间为适应网络传输：增加了时间分级、信噪比和空间分级，对在噪声信道和存在大量包丢失的网络中传分级，对在噪声信道和存在大量包丢失的网络中传送视频信号很有意义另外，片结构模式、参考帧送视频信号很有意义另外，片结构模式、参考帧选择模式增强了视频传输的抗误码能力选择模式增强了视频传输的抗误码能力343.8 H.263+ 3.8 H.263+ 和和 H.263++ H.263++ 标准（标准（Cont’dCont’d））vH.263++ H.263++ 在在 H.263+ H.263+ 基础上增加了基础上增加了3 3个选项，主要是个选项，主要是为了增强码流在恶劣信道上的抗误码性能，同时也为了增强码流在恶劣信道上的抗误码性能，同时也为了提高编码效率。

为了提高编码效率 v选项选项U U：增强型参考帧选择；能够提供增强的编码效：增强型参考帧选择；能够提供增强的编码效率和信道错误再生能力（特别是在包丢失的情形下）率和信道错误再生能力（特别是在包丢失的情形下），需要设计多缓冲区用于存储多参考帧图像需要设计多缓冲区用于存储多参考帧图像v选项选项V V：数据分片；能够提供增强型的抗误码能力：数据分片；能够提供增强型的抗误码能力（特别是在传输过程中本地数据被破坏的情况下），（特别是在传输过程中本地数据被破坏的情况下），通过分流视频码流中通过分流视频码流中DCTDCT的系数头和运动矢量数据，的系数头和运动矢量数据，采用可逆编码方式保护运动矢量采用可逆编码方式保护运动矢量v选项选项W W：在：在 H.263+ H.263+ 的码流中增加补充信息，保证增的码流中增加补充信息，保证增强型的反向兼容性强型的反向兼容性353.9 H.264 3.9 H.264 标准标准————概述概述v由由ITU-TITU-T的视频编码专家组（的视频编码专家组（VCEGVCEG）与）与ISO/IECISO/IEC的的MPEGMPEG组成的联合视频工作组组成的联合视频工作组（（JVTJVT）共同制定的新一代视频压缩编码标准。

共同制定的新一代视频压缩编码标准v设计方案包含：视频编码层（设计方案包含：视频编码层（VCLVCL）和网络抽）和网络抽象层（象层（NALNAL）363.9 H.264 3.9 H.264 标准标准————特点特点v编码效率高编码效率高v对信道时延的适应性较强对信道时延的适应性较强v在编在编/ /解码器中采用复杂度可分级设计，支持解码器中采用复杂度可分级设计，支持不同网络资源下的分级编码传输不同网络资源下的分级编码传输v容错能力强容错能力强v网络的适应性强网络的适应性强373.9.1 H.264 3.9.1 H.264 的主要特性的主要特性————高编码效率高编码效率v1. 1. 运动补偿预测运动补偿预测v（（1 1）不同大小和形状的宏块分割）不同大小和形状的宏块分割v（（2 2）高精度的亚像素运动预测）高精度的亚像素运动预测v（（3 3）多参考帧的运动补偿）多参考帧的运动补偿v（（4 4）自适应去方块效应滤波器）自适应去方块效应滤波器v（（5 5）运动补偿预测的其他特性）运动补偿预测的其他特性383.9.1 H.264 3.9.1 H.264 的主要特性的主要特性————高编码效率（高编码效率（Cont’dCont’d））v2. 4×4 2. 4×4 整数变换整数变换v3. 3. 基于空域预测的帧内编码基于空域预测的帧内编码v4. 4. 量化量化v5. 5. 基于上下文的熵编码基于上下文的熵编码393.9.1 H.264 3.9.1 H.264 的主要特性的主要特性————强容错能力和网络适应性强容错能力和网络适应性v1. 1. 参数集结构参数集结构v2. NAL 2. NAL 单元语法结构单元语法结构v3. 3. 灵活的像条大小灵活的像条大小v4. 4. 灵活的宏块排序（灵活的宏块排序（FMOFMO））v5. 5. 任意像条排序任意像条排序v6. 6. 冗余图像冗余图像v7. 7. 数据分割数据分割403.9.2 H.264 3.9.2 H.264 的网络抽象层的网络抽象层v规范了视频数据的格式，包括单个字节的包规范了视频数据的格式，包括单个字节的包头信息、多个字节的视频数据与组帧、逻辑头信息、多个字节的视频数据与组帧、逻辑信道信令、定时结束信号等。

信道信令、定时结束信号等v包头中包含存储标志和类型标志；包头中包含存储标志和类型标志；v存储标志用于指示当前数据不属于被参考的存储标志用于指示当前数据不属于被参考的帧；帧；v类型标志用于指示图像数据的类型类型标志用于指示图像数据的类型413.9.2 H.264 3.9.2 H.264 的网络抽象层（的网络抽象层（Cont’dCont’d））v支持的网络类型：支持的网络类型：v任何使用任何使用 RTP/IP RTP/IP 协议的实时有线和无线协议的实时有线和无线 Internet Internet 服务服务v作为作为 MP4 MP4 文件存储和多媒体信息文件服务文件存储和多媒体信息文件服务vMPEG-2 MPEG-2 系统系统v其他网络其他网络423.9.3 H.264 3.9.3 H.264 的视频编码层的视频编码层v1. 1. 图像、帧和场图像、帧和场v2. YCbCr 2. YCbCr 颜色空间和颜色空间和4:2:04:2:0采样采样v3. 3. 宏块划分宏块划分v4. 4. 像条和像条组像条和像条组v5. 5. 宏块的编宏块的编/ /解码过程解码过程v6. 6. 自适应帧自适应帧/ /场编码操作场编码操作433.9.3 H.264 3.9.3 H.264 的视频编码层（的视频编码层（Cont’dCont’d））v7. 7. 帧内预测帧内预测v8. 8. 帧间预测帧间预测v9. 9. 变换和量化变换和量化v10. 10. 熵编码熵编码v11. 11. 去方块效应环路去方块效应环路滤波滤波器器v12. 12. 假想参考解码器模型假想参考解码器模型443.9.4 H.264 3.9.4 H.264 的的 Profile Profile 和和 Level Levelv基类基类v不支持（不支持（1 1）和（）和（2 2））v主类主类v支持（支持（1 1）；不支持灵活宏块排序（）；不支持灵活宏块排序（FMOFMO）、任意像）、任意像条排序和冗余图像特性条排序和冗余图像特性v扩展类扩展类v支持除支持除CABACCABAC外所有外所有H.264H.264特性，序列参数中包含了特性，序列参数中包含了一些标志指示解码该码流要求解码器支持的类一些标志指示解码该码流要求解码器支持的类v注：（注：（1 1））B B像条、加权预测、像条、加权预测、CABACCABAC、场编码、图像、场编码、图像或宏块在帧场编码之间自适应切换；（或宏块在帧场编码之间自适应切换；（2 2））PI/SI PI/SI 像像条和像条数据分割。

条和像条数据分割453.10 3.10 流媒体编码压缩新技术流媒体编码压缩新技术1. 1. 高效的编码技术高效的编码技术v媒体系统中的多媒体数据要通过网络来传输给用户，媒体系统中的多媒体数据要通过网络来传输给用户，高效的编码技术可以降低流媒体系统对网络带宽的高效的编码技术可以降低流媒体系统对网络带宽的要求v目前标准化和商业化的视频编码技术都是基于运动目前标准化和商业化的视频编码技术都是基于运动补偿和补偿和 DCT DCT 变换的v运动估计和补偿模块用来消除相邻图像间的冗余信运动估计和补偿模块用来消除相邻图像间的冗余信息，息，v熵编码模块用来消除编码信号的冗余性，熵编码模块用来消除编码信号的冗余性，v变换量化模块根据人的视觉系统对视频信号的细微变换量化模块根据人的视觉系统对视频信号的细微变化的不敏感性丢失部分信息，变化的不敏感性丢失部分信息，v从而提高压缩比从而提高压缩比463.10 3.10 流媒体编码压缩新技术（流媒体编码压缩新技术（Cont’dCont’d））2. 2. 可伸缩性编码技术可伸缩性编码技术v在流媒体应用中需要解决的一个基本问题是网络带在流媒体应用中需要解决的一个基本问题是网络带宽的波动。

宽的波动v有效方法是采用可伸缩性的视频编码，以提供移动有效方法是采用可伸缩性的视频编码，以提供移动的使用网络带宽变化的能力的使用网络带宽变化的能力3. 3. 多媒体标准技术多媒体标准技术v标准的制定和执行确保不同厂家和服务商之间可以标准的制定和执行确保不同厂家和服务商之间可以互通互联；互通互联；v标准里的知识产权是商家必争之处标准里的知识产权是商家必争之处4. 4. 对等网络技术（对等网络技术（P2PP2P））v通过通过 P2P P2P 技术，除了和服务器外，每个用户可以共技术，除了和服务器外，每个用户可以共享他的文件或信息给其他用户享他的文件或信息给其他用户47The EndThe End48滤波的基本思想滤波的基本思想v如果块边沿的绝对差值相对比较大，出现块如果块边沿的绝对差值相对比较大，出现块人工瑕疵的可能性就很大，因此需要进行相人工瑕疵的可能性就很大，因此需要进行相应处理v然而，如果差值幅度很大，编码量化过程的然而，如果差值幅度很大，编码量化过程的误差不能解释，边沿很可能反映了源图像的误差不能解释，边沿很可能反映了源图像的实际样值，不需处理实际样值，不需处理。