动态图像压缩标准课件

,动态图像压缩标准,2,MPEG概述,MPEG(Moving/Motion Picture Expert Group)是活动图像专家组，负责开发电视图像数据和声音数据的编码、解码和它们的同步等标准。 已经开发和正在开发的MPEG标准有： MPEG-1：数字电视标准，1992年正式发布。 MPEG-2：数字电视标准。 MPEG-3：已于1992年7月合并到HDTV工作组。 MPEG-4：多媒体应用标准(1999年发布)。 MPEG-5：尚未见到定义。 MPEG-6：尚未见到定义。 MPEG-7：多媒体内容描述接口标准(正在研究)。,3,MPEG标准内容,MPEG-1 MPEG-1是针对当时具有这种数据传输率的CD-ROM和网络而开发的，用于在CD-ROM上存储数字影视和在网络上传输数字影视。 MPEG-1全称为“信息技术用于数据速率高达大约1.5 Mbit/s的数字存储媒体的电视图像和伴音编码”，由五个部分组成：,4,MPEG标准内容,MPEG-1 Systems，规定电视图像数据、声音数据及其他相关数据的同步 MPEG-1 Video, 规定电视数据的编码和解码， MPEG-1 Audio, 规定声音数据的编码和解码， MPEG-1 Conformance testing，说明如何测试比特数据流和解码器是否满足MPEG-1前3个部分(Part1，2和3)中所规定的要求。 MPEG-1 Software simulation，给出了用软件执行MPEG-1标准前3个部分的结果。,5,MPEG-2,MPEG-2 MPEG-2标准是一个直接与数字电视广播有关的高质量图像和声音编码标准。标准名称为“信息技术电视图像和伴音信息的通用编码。MPEG-2包含9个部分： MPEG-2 Systems，规定电视图像数据、声音数据及其他相关数据的同步 MPEG-2 Video，规定电视数据的编码和解码 MPEG-2 Audio，规定声音数据的编码和解码,6,MPEG-2,MPEG-2 Conformance testing MPEG-2 Software simulation MPEG-2 Extensions for DSM-CC，数字存储媒体命令和控制扩展协议 MPEG-2 AAC，是多声道声音编码算法标准 MPEG-2 Extension for real time interface for systems decoders，系统解码器实时接口扩展标准 MPEG-2 DSM-CC，一致性扩展测试,7,MPEG-4,MPEG-4 MPEG-4是为视听(audio-visual)数据的编码和交互播放开发算法和工具，是一个数据速率很低的多媒体通信标准。 MPEG-4的目标是要在异构网络环境下能够高度可靠地工作，并且具有很强的交互功能。 MPEG-4将应用在移动通信和公用电话交换网PSTN上，并支持可视电话、电视邮件、电子报纸和其他低数据传输速率场合下的应用。,8,MPEG-4,MPEG-4文件有6个部分，它们是： MPEG-4 Systems 系统标准 MPEG-4 Video 电视图像标准 MPEG-4 Audio 声音标准 MPEG-4 Conformance Testing 一致性测试标准 MPEG-4 Reference software 参考软件 MPEG-4 Delivery Multimedia Integration Framework (DMIF) 传输多媒体集成框架,9,MPEG-7,MPEG-7 MPEG-7的工作于1996年启动，叫做多媒体内容描述接口(Multimedia Content Description Interface)，MPEG-7的目的是制定一套描述符标准，用来描述各种类型的多媒体信息及它们之间的关系，以便更快更有效地检索信息。 MPEG-7涉及的媒体材料可包括静态图像、图形、3D模型、声音、话音、电视以及在多媒体演示中它们之间的组合关系。,10,MPEG-7,MPEG-7的应用领域包括： n 数字图书馆(Digital library)，例如图像目录、音乐词典等； n 多媒体目录服务(multimedia directory services)，例如黄页(yellow pages)； n 广播媒体的选择，例如无线电频道，TV频道等； n 多媒体编辑，例如个人电子新闻服务，多媒体创作等等 n 潜在应用的应用领域包括：教育、娱乐、新闻、旅游、医疗、购物等等。,11,MPEG数据流的分层结构,(1)运动图像序列：包含一个表头(定义了图像宽、高、像素长宽比、帧速率、位速率、缓冲区尺寸等重要参数)，一组或多组图像和序列结束标志； (2)图片组：由一系列图像组成，可以从运动序列中随机存取； (3)图像：由一个亮度信号和两个色度信号组成； (4)块：由一个8X8的亮度信息或色度信息组成； (5)宏块：由一个16X16的亮度信息和两个8X8的色度信息构成； (6)图像切片：由一个或多个连续的宏块构成。,12,MPEG数据流的分层结构,13,MPEG视频压缩算法的基本思路,冗余及解决方法 (1)时间冗余：各帧图像在时间方向上的相关性； (2)空间冗余：像素间的相关性 解决方法： n 用帧间预测和运动补偿解决时间冗余 n 用变换编码和预测编码解决空间冗余 MPEG算法面临的问题： n 在保证画面质量前提下每帧单独编码，不能保证高压缩比； n 为了满足随机访问有最好方法是每帧单独编码；,14,MPEG视频压缩算法的基本思路,解决办法： n 使用3种画面：内帧I、预测帧P和内插帧B n 内帧单独编码，经过中度压缩，可以作为随机访问点； n 预测帧以参考帧(I或P)为基础编码，又作为后面预测帧的参考帧； n 内插帧以前后两个参考帧为基础编码，本身不能作为参考帧。内插帧的压缩率最高。,15,MPEG视频压缩算法的基本思路,16,三种帧的压缩算法,1、内帧图像 I 的压缩算法 帧内图像I不参照任何过去的或者将来的其他图像帧，压缩编码采用类似JPEG压缩算法； 如果电视图像是用RGB空间表示的，则首先把它转换成YCrCb空间表示的图像。 2、预测帧图像 P 的压缩算法 编码单位： 16X16的图像宏块 3、内插帧B的压缩算法 采用双向预测，方法和P图像类似 ，,17,电视图像的结构,MPEG编码器算法允许选择I图像、P图像和B图像数目。例如，对于快速运动的图像，I图像的频率可以选择高一些，B图像的数目可以选择少一点；对于慢速运动的图像，帧内图像I的频率可以低一些，而B图像的数目可以选择多一点。在实际应用中还要考虑媒体的速率。 MPEG三种图像的压缩后的典型值(比特) ，可以看到，I帧图像的数据量最大，而B帧图像的数据量最小。,18,电视图像的结构,19,H.261和H.263标准,H.261 n 由 CCITT于1990年制定，是国际上第一个视频压缩标准，应用领域为：电视电话和会议电视 n H.261的全称：视听业务速率为Px64Kb/s的视频编译码 n P=1，2时仅支持四分之一通用交换格式(QCIF)的视频格式(176x144)，用于帧速低的可视电话； n P=6时可支持通用交换格式CIF的视频格式(352x288)的会议电视。 n 压缩算法的核心：运动估值预测和DCT编码 n 贡献：除自身的应用领域外，视频数据格式、运动估算与补偿、DCT变换、量化和熵编码等技术被后来的MPEG-1和MPEG-2所借鉴和采用。,20,H.261和H.263标准,H.263 n 1995年制定，适用于PSTN(Public Switch Telephone Network，公共交换电话网) n 目的：能在现有的电话网上传输活动图像，能够基于电话线路(PSTN)实现可视电话和视频会议系统，已成为一般的低比特率视频编码标准 n 基本算法：帧间预测和DCT混合编码 n 4种可协商选择的编码方法：无限制范围的运动矢量、基于语法的算法编码方法、高级预测和PB帧 n 两种编码模式：帧内编码和帧间编码 n 进一步发展：H.263+(H.263版本2)，增加了12种新的协商模式和附加特性，以扩大协议的应用范围，提高重建图像的主观质量以及加强对编码比特率的控制。,H.264中运动估计算法的研究,22,主要内容：,背景 H.264 层次搜索算法 自适应搜索算法,23,背景介绍谁是继承者？,MPEG2老了 谁是继承者？,24,背景介绍H.26L横空出世,25,背景介绍来龙去脉,H.26LITU-T Q.6/SG16 (VCEG - Video Coding Experts Group)的新宠，H.264的前身 2001 11：VCEG和 MPEG联合组建Joint Video Team (JVT)，共同制定H.26L标准 2002 10：完成标准草案 预计2003 标准最终在两个组织获得通过 H.264是该标准ITU-T的官方名称，MPEG方面称它为MPEG4-Part 10,26,H.264基于块的混合编码方式,27,运动估计的原理,28,H.264中运动估计,更为精细的块尺寸 4x4，4x8，8x4，8x8 8x16，16x8，16x16 ¼像素精度的运动矢量 6阶FIR滤波器插值1/2像素点 双线性插值1/4像素点 线性插值1/8色度像素点 多参考帧 周期运动 镜头、场景的来回切换,29,多种多样的块尺寸,30,多种多样的块尺寸,31,¼像素精度的运动矢量,½亮度像素点的插值,1/8色度像素点的插值,¼亮度像素点的插值,32,多参考帧,33,H.264的性能,27,28,29,30,31,32,33,34,35,36,37,38,39,0,50,100,150,200,250,Bit-rate kbit/s,Foreman QCIF 10Hz,Quality Y-PSNR dB,MPEG-2,H.263,MPEG-4,JVT/H.264/AVC,34,H.264 Codec设计复杂度,相对MPEG-2 ，解码复杂度增加 2-3倍，编码复杂度增加 3-4倍 问题: 宏块分得更细（更多的搜索） 预测模式更多（更多的搜索） 多参考帧的运动估计（更多的内存，更多的计算） 更长的滤波器 ,35,编码器的硬件实现方案ASIC,Lucent Technologies Proprietary and Confidential,Pixel Data,Host API,27MHz,Bit Stream,36,编码器的硬件实现方案DSP,Lucent Technologies Proprietary and Confidential,37,编码器的硬件实现方案FPGA,38,我们的问题,性能，成本和计算复杂度 选择DSP方案 运动估计计算量无法承受 需要一种快速高效的搜索算法,39,层次搜索算法,思想 通过下采样，将图像分辨率降低，先在低分辨的图像上作穷尽搜索，得到最优点X。然后，回到原图像，在X的邻域内作进一步的搜索，可以得到局部最优XL。,40,层次搜索算法举例,以下采样2倍为例，设搜索范围是正负48，当前编码块的大小是16x16，则原来要搜索9409个点，每个点的计算量是256次减法，255次加法，1次比较，2倍下采样之后，搜索点数下降1/4，为2401，每个点的计算量是64次减法，63次加法，1次比较，总的计算量只有原来的1/16。白点为下采样后剩下的像素，灰色点是被