第11章MPEG视频编码I.ppt

第11章 MPEG视频编码 ISlide 1内￿￿容1. MPEG概述2. MPEG-13. MPEG-21. MPEG概述Moving Picture Experts GroupISO/IEC JTC1/SC29 WG11Slide 3MPEG -1标准•MPEG-1标准(ISO/IEC11172). 1992年发布用于1.5Mbps数据传输率的运动图像及其伴音的编码主要应用于 VCD，MP3音乐等.•MPEG-1在JPEG和H.261等优秀标准的基础上, 对参加竞争的14个方案,通过反复协调而得到统一,从而成为先进、合理、质量高、成本低的优秀标准. •MPEG-1促进了大规模集成电路专用芯片的发展, 为多媒体技术和产品的繁荣立下了功劳Slide 4MPEG-1 Requirements 在大约1.5Mb/s数码率的情况下,获得质量可接受的A/V信息;适合于CD-ROM,DAT,硬盘,可写光盘等数字存储介质;可在N-ISDN、LAN等通信网络上传输1 random access 2 fast forward/backward search3 reverse playback 4 A/V synchronization5 robustness to errors 6 small encoding/decoding delay7 editability 8 format flexibility9 cost tradeoffSlide 5MPEG-1的内容•ISO/IEC11172-1 : system－－ audio,video,data等如何组织成一个复合的比特流;如何同步等.•ISO/IEC11172-2 : video －－ video 信号的压缩编码•ISO/IEC11172-3 : audio －－ audio 信号的压缩编码•ISO/IEC11172-4 : Conformance testing －－ MPEG-1的一致性测试•ISO/IEC11172-5 : Software simulation －－ MPEG-1软件模拟Slide 6MPEG -2标准•MPEG-2标准(ISO/IEC13818). 1994年发布。

主要针对数字电视特别是高清晰度电视(HDTV) 的视频及伴音信号，典型传输速率为10Mbps，与MPEG-1兼容，适用于1.5Mbps～60Mbps甚至更高速率的编码范围 Slide 7MPEG -2标准（续）•以MPEG-2作为视音频压缩标准的数字卫星电视已在欧美形成了很大市场；•美国高级电视联盟(ATV Grand Alliance)和欧洲数字视频广播计划(Digital Video Broadcast Project)先后决定将MPEG -2用于高清晰度电视(HDTV)广播中;•新一代的数字视盘DVD采用MPEG-2作为其视音频压缩标准(注:欧、美 、日在视频方面采用MPEG-2标准,而在音频方面则采用AC-3标准)Slide 8MPEG -4标准•MPEG-4 标准(ISO/IEC l4496) . “Coding of audio-visual objects”1999年5月形成国际标准(版本1), 2001-2002形成版本2，是一种基于对象的视(音)频编码标准,目标是支持各种多媒体应用(主要侧重于对多媒体信息内容的访问)•主要目标–compression and manipulation of audio and visual objects, the web page paradigm applied to audio and video!Slide 9MPEG -7标准•MPEG-7标准(ISO/IEC l5938). 2001年 9月 形 成 。

它 是 “多 媒 体 内 容 描 述 接 口 ” (Multimedia Content Description Interface)的标准, 该标准将确定各种类型的多媒体信息的标准描述方法, 可应用于数字图书馆、各种多媒体目录服务、广播媒体的选择，以及多媒体编辑等领域Slide 10MPEG -21标准•MPEG-21总体上来讲是一个支持通过异构网络和设备使用户透明而广泛地使用多媒体资源的标准，其目标是建立一个交互的多媒体框架支持以下功能：–通过网络和/或设备存取、使用并交互操作多媒体对象–实现多种业务模型，包括在价值链中对版权和支付交易的自动管理–对内容使用者隐私的尊重•MPEG-21技术报告向人们描绘了一幅未来的多媒体环境场景，这个环境能够支持各种不同的应用领域，不同用户可以使用和传送所有类型的数字内容2 MPEG-1视频编码Slide 12MPEG-1视频压缩的基本方法① 在空间域:采用JPEG(Joint Photographic Experts Group)压缩算法来去掉画面内部的冗余信息② 在时间域:采用运动补偿(motion compensation)算法来去掉画面之间的冗余信息。

Slide 13MPEG-1视频编/解码总框图预处理压缩编码存储和/或传输解码数字视频CCIR 601后处理显示预处理与画面分类Slide 15CCIR 601(PAL)的预处理亚采样滤波器13031U,V//8-29088138880-29Y//256i-3 i-2 i-1 i i+1 i+2 i+3720x576360x576720x288360x288180x288YU,V352x288(SIF)176x144(SIF)Slide 16MPEG-1画面预处理中的亚采样1￿使用滤波器对亮度（色度）象素进行平滑处理：-29088138880-29Y//256i-3 i-2 i-1 i i+1 i+2 i+31331U,V//8亚采样前：10 12 20 30 35 15 19 11 11 19 26 45 80 90 92 902￿采用亚采样降低分辨率5923//256=23平滑处理：亚采样后: 12 32 23 9 12 49 95 92Slide 17画面的分类•Intra-picture ( I画面 )不需要参考其它画面而独立进行压缩编码的画面;•Predicted-picture ( P画面 )参考前面已编码的 I 或 P画面进行预测编码的画面;•Bidirectional-picture ( B画面 )既参考前面的I或P画面、又参考后面的I或P画面进行双向预测编码的画面•DC coefficient-picture ( D画面 )仅使用画面中每个块的 DC系数进行编码, 用作正/反向快速搜索.单独进行编码与存储(仅MPEG-1使用)。

Slide 18MPEG 的画面组(GOP)•视频画面序列被分成一个一个画面组(Grupe Of Pictures, GOP)•GOP中的画面数目一般为10－15.•每个GOP中至少包含一个I画面，可没有B画面,甚至没有P画面Slide 19画面的重新排序•画面的显示顺序是: I B B P B B P B B P 1 2 3 4 5 6 7 8 9 10 •画面的编码顺序是: I P B B P B B P B B 1 4 2 3 7 5 6 10 8 9因此, 每一个GOP中的画面在编码前和解码后都必须重排序BBPBBPIB 1 2 3 4 5 6 7 8 9 10例例BGOP(Group of Pictures)P编码器结构及I画面的处理Slide 21调节器SIF格式的视频画面画面缓冲与重排运动估计DCTQVLCBufferMUXQ-1IDCT++画面存储及预测预测画面运动矢量差分画面视频比特流q解码的差分画面MPEG-1编码器框图I画面独立编码,类似于JPEGP画面和B画面应进行运动估计,求出1~2个运动矢量P画面和B画面采用帧间预测编码,被编码的是差分图象Slide 22I 画面压缩编码的流程 Slide 23P 画面压缩编码的流程 Slide 24双向预测宏块的编码过程运动矢量运动矢量Slide 25宏块的大小与组成宏块的大小与组成•宏块(macro block)的组成:012345Y(16x16)U(8x8) V(8x8)•宏块有2种情况：–可预测宏块:与参考画面中的某个宏块有位移关系–不可预测宏块:与参考画面中的任何宏块都找不到位移关系Slide 26可预测宏块Motion vectorForward prediction:前向预测宏块( I or P picture)(P picture)Bidirectional prediction:双向预测宏块( I or P picture)( I or P picture)(B picture)被编码宏块被编码宏块参考画面参考画面参考画面Slide 273131搜索范围MPEG-1的运动矢量估计•搜索范围(7种可选)31,63,127,...,2047?•搜索精度(2种可选)0.5 pel, 1 pel•搜索策略(自定)–全面搜索(31x31)搜索次数=(31-16+1)2=256–对数搜索法(31x31)搜索次数=9x5=45–菱形搜索法宏块Slide 28菱形搜索（DS）Slide 29小结1: 编码器的主要操作 1．为 GOP中的 I画面、P画面和 B画面重新排序 2．为 P画面和 B画面中的每个 MB（宏块）估算运动矢量 3．确定每个 MB的宏块类型（ MTYPE） 4．如果选择自适应量化的话，设置量化因子 MQUANT。

Slide 30小结2: I, P, B 三种画面的比较•压缩后，3种画面比特数目的比较： I＞P＞B例如：I画面： 300 kb P画面：100-65 kb B画面：18-7 kb•关于B画面–优点：预测效果好，压缩效率高，–缺点：复杂，需要较大的缓冲器，增加了编码延迟Slide 31小结3:视频比特流的层次结构DCT单位运动补偿单位重新同步单位主编码单位随机存取单元video编辑单位随机存取单元contextSlide 32小结4: MPEG-1的视频数据流格式SeqSeqSeq…SeqSequence LayerCBPb5...AddrTypeMotionVectorQScaleb0Block LayerGOPGOP...SeqSCVideoParamBitstreamParamQT,miscGOP Layerbitrate, bufsizewidth, height, aspect ratio, picture ratePictPict...GOPSCGOPParamTimeCodePicture Layerhours,minutes, secondsSliceSlice...PSCTypeBufferParamEncodeParamSlice LayerI, P, BMBMB...SSCQScaleVertPosMacro-block Layerwhich line does this slice start on ?Slide 33与H.261的区别•Source format–H.261 only supports CIF (352×288) and QCIF (176×144) source formats, MPEG-1 supports SIF (352×240 for NTSC, 352×288 for PAL).–MPEG-1 also allows specication of other formats as long as the Constrained Parameter Set (CPS) is satisfied:Slide 34与H.261的区别•SlicesSlide 35与H.261的区别•QuantizationMPEG-1视频的解码Slide 37解码器框图与解码过程 缓冲器分路器VLC解码器Q-1IDCT画面重排+画面存储与预测视频比特流宏块类型、画面类型运动矢量量化步长重建的视频图象 输入速率固定，但画面的数据量差别很大，必须要设缓冲分路器负责语法、语义检查，对宏块进行解码，解出运动矢量、宏块类型等IDCT输出的是I画面及P画面和B画面的预测画面保存I画面及P画面，生成预测画面（P,B）预则画面+差分画面=重建的画面画面重排序，然后输出送显示器（帧速固定）Slide 38缓冲器的设计•必要性：平滑数据量/画面的波动，确保以固定帧频显示。

•副作用：增加了解码延迟时间，增大了成本•画面数据量与缓冲大小的关系Buffer输入速率R每隔1/P秒取1帧画面BBn假设 –解码速率为P,即每隔1/P秒从Buffer中取1帧画面的数据;–输入数据的速率为R,所以每1/P秒会向Buffer中输入R/P数据;–缓冲器容量为B,第n帧画面取走后其中留下的数据为Bn;–第n帧画面的数据量设为dnSlide 39缓冲器的设计为了取第n+1帧画面时，不发生下溢，必须保证:Bn+R/P>=dn+1为了在第n+2帧画面取走之前，不发生上溢，必须保证: (Bn+R/P)-dn+1 +R/P<=B, 即 dn+1 >=Bn+2R/P-B所以，第n+1帧画面的数据量必须满足：Bn+2R/P-B<= dn+1<= Bn+R/PBuffer输入速率R每隔1/P秒取1帧画面BBnMPEG-1视频编码小结Slide 41MPEG-1 小结•特点：–是一种通用标准，它规定了编码视频流的表示语法和解码方法该语法支持的操作有运动补偿预测、离散余弦变换(DCT)、量化和变长编码，–编码器设计具有灵活性（它没有定义产生合法数据流所需的详细算法；例如，对运动估计算法和压缩模式选择未作规定）–用于定义编码位流和解码器的一系列参数都包含在位流本身中。

这就允许算法适用于不同大小和宽高比的画面，也可以用在工作速率范围很大的信道和设备上Slide 42MPEG-1 小结•缺点与不足:–16￿x￿16的宏块作为预测单位尺寸稍大–可能产生亚象素级的位移–物体的3D运动(如旋转)不易预测–摄象机运动、灯光变化、物体形状变化、场景切换、物体遮挡等引起的画面变化，预测有困难–B画面、P画面使编辑操作复杂化–仅适合￿逐行扫描的视频信号的处理3. MPEG-2Slide 44目￿的•MPEG-2是与数字电视有关的高质量图象/声音的通用编码标准，它满足存储、广播和通信领域各种应用对视频及其伴音的通用编码方法的日益增长的需求；•MPEG-2以一种计算机数据的形式，使视频信息：–能进行操纵，–能存储在各种不同存储媒体上，–能在现存的和未来的网络上传输，–能在现存的和未来广播信道上分发•MPEG-2是MPEG-1的超集，基本算法相同,但增加了许多MPEG-1所没有的功能，例如增加了对隔行扫描电视信号的编码，提供了 scalability功能Slide 45MPEG-2的组成部分•第1部分：系统(ISO/IEC DIS 13818-1:Systems)•第2部分：视频(ISO/IEC DIS 13818-2: Video)•第3部分：音频(ISO/IEC 13818-3: Audio)•第 4部 分 ： 一 致 性 测 试 (ISO/IEC DIS 13818-4: Compliance testing)•第 5部 分 ： 软 件 模 拟 (ISO/IEC DTR 13818-5: Software simulation)Slide 46MPEG-2的组成部分（续）•第6部分：数字存储媒体命令和控制扩展协议DSM－CC扩展(ISO/IEC IS 13818-6: Extensions for Digital Storage Media Command and Control)•第7部分: 先进声音编码AAC(ISO/IEC IS 13818-7: Advanced Audio Coding)•第9部分: 系统解码器实时接口扩展(ISO/IEC IS 13818-9: Extension for real time interface for systems decoders)•第10部分：一致性扩展测试(ISO/IEC IS 13818-10: Conformance testing for DSM-CC)Slide 47MPEG-2视频的用途与需求需求：•支持多种图象取样格式•支持多种图象质量(分辨率、帧频)•支持多种不同的码率￿￿￿￿￿￿￿￿￿￿￿￿￿￿￿￿￿￿￿￿•支持低延迟编码/解码•支持随机存取/频道切换•码流具有多种可分级性(scalability)•与MPEG-1兼容•具有抗错(error￿resilience)能力•对存储和传送方法的适配性用途：•￿隔行扫描电视信号的数字电视广播（包括卫星电视与有线电视）•￿高质量视频的数字存储•￿高清晰度电视HDTV•￿网络视频服务•￿双向视频通信Slide 48对各种分辨率和格式的支持•画面分辨率：–各种分辨率，最大可达 16000x16000•帧速率：–23.98, 24, 25, 29.97, 30, 50, 59.94, 60•可支持的视频扫描方式：–逐行，隔行•可支持的色度信号取样格式：–4:2:0 , 4:2:2 , 4:4:4Slide 49MPEG-2 视频的分“类”(profile)•MPEG-2 视频编码,按处理方法的复杂程度分成5+2 “类”（profile)，每一类面向一个应用领域；•每一类都包含一组其低类所没有的新算法（模块）; 类越高，编码越精细, 实现也越复杂;•类与类之间向下兼容，任何一种高类解码器，均能对用较低类方法编码的视频图像进行解码。

•2个新的profile：–4：2：2 profile–Multiview profileSPMPSNRPSSPHPSP: 简单类MP: 主类SNRP: 信噪比可分级类SSP: 空间可分级类HP: 高类4:2:2MVPSlide 50不同profile的特性•Simple 没有可分级性, 支持随机存取, 不用B画面，色度信号格式为4:2:0, 低延迟，适合视频会议应用•Main 没有可分级性，支持随机存取, 使用B画面，色度信号格式为4:2:0，最具通用性•SNR Scalable 具有与main相同的所有功能, 且按信噪比可分级（多种级别的图象质量）•Spatial Scalable 具有与SNR Scalable相同的所有功能, 还具有按空间分辨率可分级的功能（多级图象质量与分辨率）•High 具有与Spatial Scalable相同的所有功能, 按空间或按信噪比均可分级, 支持2种色度信号格式(4:2:2或4:2:0)Slide 51MPEG-2视频的分“级”(level)CIFLow (352x288x25) CIF格式, 最大输出码率为4MbpsCCIR601Main(720x576x25) CCIR601格式, 最大输出码率为15-20MbpsHigh1440High1440(1440x1152x25) HDTV窄屏格式, 最大输出码率为80MbpsHighHigh(1920x1152x25) HDTV宽屏格式, 最大输出码率为100MbpsSlide 52MPEG-2视频的技术规格简 单 类基 本 类信噪比高级M P @ H L高级1440MP@H1440 HP@H1440基本级SP@ MLM P @ M LS N R@ M L低级M P @ LL画面 I,P I,P,B I,P,B I,P,B I,P,B 色度格式 4:2:0 4:2:0 4:2:0 4:2:0 4:2:2 高 Simple Main SNR Spatial High 空间SNR@LL1920x1152x601440x1152x60720x576x30352x288x30SPP@H1440H P @ H LHP@ML10 -155-15151.2-43 - 4608015 -40-6020 -60-804 -15-20100Slide 53MPEG-2视频编码的可伸缩性•“可伸缩”（scalable）指：视频的编码数据=基础层￿+若干增强层是编码图像的基本数据，但图像质量较差可用来改进信噪比或清晰度(分辨率)nSimple和Main￿不具有可伸缩性;nSNR￿Scalable,￿Spatial￿Scalable和High这3类都具有可伸缩性,￿它们的编码中包含2-3个流,不同的流代表着不同的layer.￿Slide 54MPEG-2视频的可伸缩性•SNR Scalable类最多可以有2个layer:base layer + SNR enhancement layer•Spatial Scalable和High这2类最多都可以有3个layer: base layer + SNR enhancement layer + Spatial enhancement layerSlide 55空间/时间可分级编码与解码video inDownscalingspatial ortemporalLow resolutionUpscalingspatial ortemporalEnhancement layerDecoderHigh resolutionvideo outBase layerEncoderBase layer bitstream(编码器)Base layerDecoderLow resolutionvideo out(解码器)UpscalingEnhancement layerEncoderEnhancement layer bitstream spatial ortemporalSlide 56可分级视频编码的应用80Mb/s20Mb/s HDTV解 码 器常规电视解 码 器1440x1152720x576base layerbase￿layer￿+￿SNR￿enhancement￿layer￿+￿Spatial￿enhancement￿layerHP@H1440SDTVSlide 57MPEG-1与MPEG-2的性能对比 MPEG-1 MPEG-2(MP@ML/HL) 主要应用 Digital video on CD-ROM Digital TV(and HDTV)空间分辨率 CIF Format (1/4 TV) CCIR601 (4 x CCIR601) 约 288 x 360 pels 约 576 x 720 pels (1152 x 1440 pels)时间分辨率 25 - 30 frames/s 50-60 fields/s (100-120 fields/s)码率 1.5 Mbit/s 约 4 Mbit/s (约 20 Mbit/s)压缩比 约 20 - 30 约 30-40 (appr. 30-40)。