信息与通信现代电视技术8数字视音频压缩.ppt

现代电视技术现代电视技术现代电视技术现代电视技术Modern Modern Television Television TechnologyTechnology 中国传媒大学信息工程学院中国传媒大学信息工程学院现代电视技术现代电视技术(8)(8)主讲教师：杨磊主讲教师：杨磊yanglei@办公：主楼601　：657794391 1现代电视技术现代电视技术现代电视技术现代电视技术Modern Modern Television Television TechnologyTechnology 中国传媒大学信息工程学院中国传媒大学信息工程学院第第8 8章　数字视音频压缩原理章　数字视音频压缩原理本章重点内容：本章重点内容：ØJPEGØMPEG-2ØH.2642 2现代电视技术现代电视技术现代电视技术现代电视技术Modern Modern Television Television TechnologyTechnology 中国传媒大学信息工程学院中国传媒大学信息工程学院 8.18.1　　数字视频压缩编码概论数字视频压缩编码概论数字视频格数字视频格式式色度格色度格式式像素格式像素格式量化比量化比特数特数无压缩有效码无压缩有效码率率计算依据计算依据HDTV4:2:21920×1080/50i101037 Mb/s1920×1080×10×2×25=1036.8Mb/sHDTV4:2:01920×1080/50i8622 Mb/s1920×1080×8×1.5×25=622.1Mb/sSDTV4:2:2720×576/50i10207 Mb/s720×576×10×2×25=207.4Mb/sSDTV4:2:0720×576/50i8124 Mb/s720×576×8×1.5×25=124.4Mb/sCIF4:2:0352×288/50i830 Mb/s352×288×8×1.5×25=30.4Mb/s表表8-1　常见数字视频的原始有效码率　常见数字视频的原始有效码率3 3现代电视技术现代电视技术现代电视技术现代电视技术Modern Modern Television Television TechnologyTechnology 中国传媒大学信息工程学院中国传媒大学信息工程学院8.1.1 8.1.1 数字视频压缩机理数字视频压缩机理数字视频压缩机理数字视频压缩机理★★数字视频存在空间、时间、结构、信息熵等数据冗余数字视频存在空间、时间、结构、信息熵等数据冗余相邻像素相邻像素相邻帧相邻帧纹理纹理编码比特大于信息熵编码比特大于信息熵★★人眼视觉对图像感知非人眼视觉对图像感知非均匀、非线性，小误差不均匀、非线性，小误差不被察觉被察觉亮度辨别阈值、视觉阈值、视觉对亮度辨别阈值、视觉阈值、视觉对不同图像内容的空间分辨力不同、不同图像内容的空间分辨力不同、人眼对亮度比对色度敏感人眼对亮度比对色度敏感★★数字视频压缩编码即是充分利用了上述人眼的视觉特性数字视频压缩编码即是充分利用了上述人眼的视觉特性和视频图像的冗余信息和视频图像的冗余信息4 4现代电视技术现代电视技术现代电视技术现代电视技术Modern Modern Television Television TechnologyTechnology 中国传媒大学信息工程学院中国传媒大学信息工程学院8.1.2 8.1.2 数据压缩编码方法分类与性能指标数据压缩编码方法分类与性能指标数据压缩编码方法分类与性能指标数据压缩编码方法分类与性能指标原始数据原始数据x编码器（压缩）编码器（压缩）解码器（解压）解码器（解压）压缩后数据压缩后数据y★★压缩编码性能指标压缩编码性能指标图像质量评价（主观、客观）　　　压缩复杂度　　　延时量图像质量评价（主观、客观）　　　压缩复杂度　　　延时量★★压缩编码分类压缩编码分类无损压缩　　　　　　　　　有损压缩无损压缩　　　　　　　　　有损压缩解压后数据解压后数据x⌒⌒5 5现代电视技术现代电视技术现代电视技术现代电视技术Modern Modern Television Television TechnologyTechnology 中国传媒大学信息工程学院中国传媒大学信息工程学院 8.28.2　　预测编码预测编码利用信源相邻样值之间的相关性，减少数据在时间和空间利用信源相邻样值之间的相关性，减少数据在时间和空间上的冗余。

多用差分脉冲编码调制上的冗余多用差分脉冲编码调制DPCM输入样值输入样值xn根据根据n时刻之前重建的样时刻之前重建的样值值x1, x2, …, xn-1对当前时对当前时刻样值刻样值xn作预测，得：作预测，得：ai预测系数预测系数en预测误差预测误差量化误差量化误差Δxn=en-e’n编码失真编码失真也是也是量化误差量化误差如果发端无量化器，直接对如果发端无量化器，直接对en进行编码、传输，收端可无误差进行编码、传输，收端可无误差地恢复地恢复xn这是可逆的无失真这是可逆的无失真DPCM编码，是信息保持编码编码，是信息保持编码但是如果有量化器，编码器是对但是如果有量化器，编码器是对e’n编码，则量化器导致了不可编码，则量化器导致了不可逆的信息损失，这时收端经解码恢复出的信号不是真正的逆的信息损失，这时收端经解码恢复出的信号不是真正的xn ，，而是有失真的而是有失真的x’n  有损但人眼不觉察，节省比特，效率高有损但人眼不觉察，节省比特，效率高6 6现代电视技术现代电视技术现代电视技术现代电视技术Modern Modern Television Television TechnologyTechnology 中国传媒大学信息工程学院中国传媒大学信息工程学院 8.28.2　　预测编码预测编码（（2 2））8.2.2 帧内预测基于同一帧内相邻像素存在很强的相关性。

前值预测：用同一行中最邻近的前值来预测；一维预测：用同一行中前几个样值来预测；二维预测：用同一行和上几行中的几个样值来预测7 7现代电视技术现代电视技术现代电视技术现代电视技术Modern Modern Television Television TechnologyTechnology 中国传媒大学信息工程学院中国传媒大学信息工程学院通过使预测误差通过使预测误差en的均方值的均方值σe2最小来求预测系数最小来求预测系数a1，，a2，，…，，an-1，，以获得最佳线性预测值，即为最佳预测编码注意以获得最佳线性预测值，即为最佳预测编码注意Σai=18 8现代电视技术现代电视技术现代电视技术现代电视技术Modern Modern Television Television TechnologyTechnology 中国传媒大学信息工程学院中国传媒大学信息工程学院 8.28.2　　预测编码预测编码（（3 3））8.2.3 帧间预测9 9现代电视技术现代电视技术现代电视技术现代电视技术Modern Modern Television Television TechnologyTechnology 中国传媒大学信息工程学院中国传媒大学信息工程学院 8.28.2　　预测编码预测编码（（4 4））8.2.4 运动补偿技术预测器1010现代电视技术现代电视技术现代电视技术现代电视技术Modern Modern Television Television TechnologyTechnology 中国传媒大学信息工程学院中国传媒大学信息工程学院1. 1. 运动估计运动估计（（ME，，Motion Estimation））帧间运动补偿的帧间运动补偿的关键关键步骤。

步骤ME的精度直接决定了帧间预测的精度的精度直接决定了帧间预测的精度最好基于像素运动估计产生位移矢量最好基于像素运动估计产生位移矢量(运动矢量运动矢量MV)，但，但一般基于宏一般基于宏块运动块运动估计1111现代电视技术现代电视技术现代电视技术现代电视技术Modern Modern Television Television TechnologyTechnology 中国传媒大学信息工程学院中国传媒大学信息工程学院　　以当前帧中的每一个亮度宏块　　以当前帧中的每一个亮度宏块MB的坐的坐标为中心，对参考帧标为中心，对参考帧(前向前向or后向后向)相应位置的相应位置的宏块在上下左右宏块在上下左右4个方向搜索，求得与其最个方向搜索，求得与其最佳的佳的匹配块匹配块，从而得到，从而得到运动矢量运动矢量MV 搜（搜索范围限制在规定的搜索窗范围内，色差信号索范围限制在规定的搜索窗范围内，色差信号与亮度信号采用相同的运动矢量）与亮度信号采用相同的运动矢量）　　运动预测的位移可　　运动预测的位移可以是整像素、以是整像素、1/2像素、像素、1/4像素运动矢量位像素运动矢量位移精度越高，帧间预测移精度越高，帧间预测后的残差越小，压缩比后的残差越小，压缩比越高。

越高1212现代电视技术现代电视技术现代电视技术现代电视技术Modern Modern Television Television TechnologyTechnology 中国传媒大学信息工程学院中国传媒大学信息工程学院2. 2. 匹配准则匹配准则最小均方误差（最小均方误差（MSE）准则）准则最小平均绝对差（最小平均绝对差（MAD）准则）准则3. 运动补偿运动补偿（（MC，，Motion Compensation））重建的参考帧存放在帧存储器中，当前帧数据块和参考帧数据块经重建的参考帧存放在帧存储器中，当前帧数据块和参考帧数据块经过运动估值后得到参考帧的最佳匹配块和运动矢量过运动估值后得到参考帧的最佳匹配块和运动矢量MV，将当前帧，将当前帧被编码宏块被编码宏块与与最佳匹配宏块最佳匹配宏块求差值，得到求差值，得到残差块残差块因此只需要传送因此只需要传送运动矢量运动矢量MV和和残差块残差块数据数据，就可以恢复出当前帧的预测图像就可以恢复出当前帧的预测图像经过运动补偿后再求残差值，残差数据值将会很小，经量化后可使经过运动补偿后再求残差值，残差数据值将会很小，经量化后可使传输的数据量大大降低。

传输的数据量大大降低1313现代电视技术现代电视技术现代电视技术现代电视技术Modern Modern Television Television TechnologyTechnology 中国传媒大学信息工程学院中国传媒大学信息工程学院 8.28.2　　预测编码预测编码（（5 5））8.2.5 量化器设计量化器用于对预测误差值量化器用于对预测误差值en进行量进行量化，而化，而en呈右图概率分布，即呈右图概率分布，即en=0的的出现概率最大出现概率最大一般图像缓变区（低频区）易预测，一般图像缓变区（低频区）易预测，因此因此en较小，而人眼对此部分误差较小，而人眼对此部分误差的分辨能力较高；图像急变区（高的分辨能力较高；图像急变区（高频区）不易预测，频区）不易预测，en较大，但人眼较大，但人眼对此部分误差的分辨能力较低对此部分误差的分辨能力较低因此缓变区细量化，急变区粗量化因此缓变区细量化，急变区粗量化1414现代电视技术现代电视技术现代电视技术现代电视技术Modern Modern Television Television TechnologyTechnology 中国传媒大学信息工程学院中国传媒大学信息工程学院 8.38.3　　正交变换编码正交变换编码将空间图像变换到正交的变换域（正交向量空间）。

正变换为将空间图像变换到正交的变换域（正交向量空间）正变换为分解，反变换为合成分解，反变换为合成变换后能量集中，容易量化，因而容易压缩变换后能量集中，容易量化，因而容易压缩8.3.1 二维DCT变换1515现代电视技术现代电视技术现代电视技术现代电视技术Modern Modern Television Television TechnologyTechnology 中国传媒大学信息工程学院中国传媒大学信息工程学院1616现代电视技术现代电视技术现代电视技术现代电视技术Modern Modern Television Television TechnologyTechnology 中国传媒大学信息工程学院中国传媒大学信息工程学院1717现代电视技术现代电视技术现代电视技术现代电视技术Modern Modern Television Television TechnologyTechnology 中国传媒大学信息工程学院中国传媒大学信息工程学院1818现代电视技术现代电视技术现代电视技术现代电视技术Modern Modern Television Television TechnologyTechnology 中国传媒大学信息工程学院中国传媒大学信息工程学院 8.48.4　　变字长编码（变字长编码（VLC））经过预测、正交变换、量化之后，得到一系列数值（符号），经过预测、正交变换、量化之后，得到一系列数值（符号），如残差函数的变换系数、运动矢量、辅助信息等。

如残差函数的变换系数、运动矢量、辅助信息等VLC即是将出现概率大的用短码，出现概率小的用长码，从而即是将出现概率大的用短码，出现概率小的用长码，从而使平均码长减小使平均码长减小1919现代电视技术现代电视技术现代电视技术现代电视技术Modern Modern Television Television TechnologyTechnology 中国传媒大学信息工程学院中国传媒大学信息工程学院平均码长：平均码长：信息熵：信息熵：2020现代电视技术现代电视技术现代电视技术现代电视技术Modern Modern Television Television TechnologyTechnology 中国传媒大学信息工程学院中国传媒大学信息工程学院 8.58.5　　视频压缩标准概述视频压缩标准概述三大国际标准化组织三大国际标准化组织(ISO、、IEC、、ITU)制订了多个视音频压缩编码标准制订了多个视音频压缩编码标准常用名称制定机构发布标准编号标题典型应用领域H.261ITU-T1990ITU-T H.261运动图像编码标准可视、会议电视、窄带ISDNMPEG-1ISO/IEC1991ISO/IEC 11172运动图像和伴音的通用编码VCD等JPEGITU-TISO/IEC1992ITU-T T.81ISO/IEC 10918静止图像编码数码相机、图像库等MPEG-2ISO/IECITU-T1994ITU-T H.262ISO/IEC 13818-2运动图像和伴音的通用编码数字电视传输、DVDH.263ITU-T1995ITU-T H.263运动图像编码标准多媒体通信等MPEG-4ISO/IEC2000ISO/IEC 14496-2基于对象的视音频编码网络视音频等JPEG2000ISO/IEC2000ISO/IEC 15444-3静止图像编码图像库、数字电视等H.264/AVCMPEG-4-10ITU-TISO/IEC2003ITU-T R. H.264ISO/IEC 14496-10高级视频编码数字电视、多媒体通信等VC-1SMPTE2006SMPTE 421M电视视频流格式和解码处理数字电视等AVSSAC(中国)2006GB/T 20090-2006信息技术 先进视音频编码数字电视、网络视频等SVACSAC(中国)2010GB/T 25724-2010安全防范监控数字视音频编解码技术要求安防监控2121现代电视技术现代电视技术现代电视技术现代电视技术Modern Modern Television Television TechnologyTechnology 中国传媒大学信息工程学院中国传媒大学信息工程学院 8.68.6　　JPEG压缩编码标准压缩编码标准分两种：分两种：①①基于基于DCT的有损压缩、的有损压缩、②②基于基于DPCM的无损压缩的无损压缩8.6.1 JPEG压缩编码原理步骤：步骤：①①通过通过DCT减少数据空间冗余；减少数据空间冗余；②②用与人眼视觉特性相关的量用与人眼视觉特性相关的量化矩阵量化化矩阵量化DCT系数系数F(u,v)，减少视觉冗余；，减少视觉冗余；③③对量化后的直流系数对量化后的直流系数DC和交流系数和交流系数AC分别进行可变长编码分别进行可变长编码VLC，减少编码冗余。

减少编码冗余灰度级减灰度级减2n-1无符号无符号→有符号有符号减少绝对值大数减少绝对值大数见教材图见教材图8-18图图8-19图图8-20图图8-21基于人眼感知阈实验，系基于人眼感知阈实验，系数分布体现了人眼对高频数分布体现了人眼对高频系数和色度系数不敏感的系数和色度系数不敏感的特性特性(高频量化大于低频、高频量化大于低频、色度量化大于亮度色度量化大于亮度)制造更长制造更长0游程后续为续为0的系数不传，的系数不传，以以EOB表示表表8-4 幅度值幅度值VLC码表码表表表8-5 亮度直流系数亮度直流系数H表表表表8-6 亮度交流系数亮度交流系数H表表1611101624405161121214192658605514131624405769561417222951878062182237566810910377243555648110411392496478871031211201017292959811210010399171824479999999918212666999999992426569999999999476699999999999999999999999999999999999999999999999999999999999999999999999999992222现代电视技术现代电视技术现代电视技术现代电视技术Modern Modern Television Television TechnologyTechnology 中国传媒大学信息工程学院中国传媒大学信息工程学院8.6.2 JPEG解码过程        解码图像与原始图像相比有一定误差，是由量化过程引解码图像与原始图像相比有一定误差，是由量化过程引起，但一般并不大。

起，但一般并不大见教材图见教材图8-23)2323现代电视技术现代电视技术现代电视技术现代电视技术Modern Modern Television Television TechnologyTechnology 中国传媒大学信息工程学院中国传媒大学信息工程学院 8.78.7　　MPEG-2视频视频压缩编码压缩编码Moving Picture Experts Group于于1988年开始工作，制定了一系列标准年开始工作，制定了一系列标准8.7.1 MPEG-1和MPEG-2概述MPEG-1MPEG-1：：：：Coding of Moving Pictures and Associated Audio for Digital Storage Media at up to about 1.5Mb/s标准号：标准号：ISO/IEC 11172主要由由3个部分组成，个部分组成，1为为系统系统(数字视音频和辅助数据等多路压缩数据流复数字视音频和辅助数据等多路压缩数据流复用和同步的规定用和同步的规定)，，2为为视频视频(位速率为位速率为1.5Mb/s的视频压缩编码规定，的视频压缩编码规定，逐逐行行CIF格式格式)，，3为为音频音频(每通道位速率为每通道位速率为64kb/s、、128kb/s、、192kb/s的数的数字音频信号的压缩编码的规定字音频信号的压缩编码的规定)。

 MPEG-2MPEG-2：：：：Coding of Moving Pictures and Associated Audio标准号：标准号：ISO/IEC 13818主要由3个部分组成，个部分组成，1为为系统系统(多路数字视音频和数多路数字视音频和数据的复用和同步的规定据的复用和同步的规定)，，2为为视频视频(各种比特率的数字视频压缩编码规各种比特率的数字视频压缩编码规定定)，，3为为音频音频(扩充了扩充了MPEG-1的音频标准，成为多通道音频编码系统的音频标准，成为多通道音频编码系统) 都是基于块的都是基于块的DCT编码、帧间预测和运动补偿编码技术的编码、帧间预测和运动补偿编码技术的混合编码混合编码结构MPEG-2兼容兼容MPEG-1并在多个方面有扩充并在多个方面有扩充 2424现代电视技术现代电视技术现代电视技术现代电视技术Modern Modern Television Television TechnologyTechnology 中国传媒大学信息工程学院中国传媒大学信息工程学院8.7.2 MPEG-2的型和级MPEG-2MPEG-2支持不同性能和不同复杂性的解码器，面向不同的应用。

支持不同性能和不同复杂性的解码器，面向不同的应用　　Profile（型）（型）Level（级）（级）Simple简单型简单型Main主型主型SNRScalable信杂比可分级信杂比可分级SpatialScalable空间可分级空间可分级High高型高型High高级高级MP@HLHP@HL全部层全部层/ /底层底层High-1440高高1440级级MP@H1440LSSP@H1440L全部层全部层/ /底层底层HP@H1440L全部层全部层/ /底层底层Main主级主级SP@ML( (无无B帧帧) )MP@MLSNP@ML全部层全部层/ /底层底层HP@ML全部层全部层/ /底层底层Low低级低级MP@LLSNP@LL全部层全部层/ /底层底层High：：         1920×1080×30及及1920×1080×25；最高比特率；最高比特率80 Mb/s 16:9High-1440：：1440×1080×30及及1440×1080×25；最高比特率；最高比特率60 Mb/s4:3Main：：        720×480×30及及720×576×25；最高比特率；最高比特率15 Mb/s。

Low：：          352×240×30及及352×288×25；最高比特率；最高比特率4 Mb/s 2525现代电视技术现代电视技术现代电视技术现代电视技术Modern Modern Television Television TechnologyTechnology 中国传媒大学信息工程学院中国传媒大学信息工程学院8.7.3 视频结构①①②②③③④④⑤⑤⑥⑥Video SequenceGOPPictureSliceMBBlock含不同数量含不同数量的色度块的色度块2626现代电视技术现代电视技术现代电视技术现代电视技术Modern Modern Television Television TechnologyTechnology 中国传媒大学信息工程学院中国传媒大学信息工程学院        In the DVCAM/DV formats, the sampled video data is handled on a so-called ‘macro block’ basis.        In the 525-60 system, a macro block is formed of four horizontally adjacent luminance pixel blocks and two chrominance pixel blocks, one each for the CR and CB component.         Similarly, in the 625-50 system, a macro block is formed of four luminance pixel blocks neighboring in the horizontal and vertical directions, and two chrominance pixel blocks.        In either case, the macro block size was determined as the smallest unit to package one each of the 8×8 chrominance pixel blocks with their associated luminance pixel blocks.        Since the 525 and 625 DVCAM systems use 4:1:1 and 4:2:0 processing respectively, there are four luminance pixel blocks associated with one each of the chrominance blocks, resulting in a macro block size of six 8 ×8 pixel blocks.2727现代电视技术现代电视技术现代电视技术现代电视技术Modern Modern Television Television TechnologyTechnology 中国传媒大学信息工程学院中国传媒大学信息工程学院8.7.4 I、B、P帧编码原理MPEG采用采用DCT和帧间运动预测联合编码技术，大幅压缩了视频图像和帧间运动预测联合编码技术，大幅压缩了视频图像的空间冗余和时间冗余，将图像定义为的空间冗余和时间冗余，将图像定义为3种类型：种类型：帧内编码图像帧内编码图像（（Intra picture，，I帧帧））：只使用本帧内的数据进行编码，：只使用本帧内的数据进行编码，是是GOP的第的第1帧，也是帧，也是随机访问编码图像序列的切入点随机访问编码图像序列的切入点，压缩比一般为，压缩比一般为(2~5):1，且必须传送。

且必须传送前向预测编码图像前向预测编码图像（（Predicted Picture，，P帧帧））：由前面最靠近的：由前面最靠近的I帧或帧或P帧作为参考帧，以宏块为单位预测而来，由于使用了运动补偿帧作为参考帧，以宏块为单位预测而来，由于使用了运动补偿(传送的传送的只是预测误差只是预测误差)，压缩比可达，压缩比可达(5~10):1双向预测编码图像双向预测编码图像（（Bi-directional Prediction，，B帧帧））：由前面的和后面：由前面的和后面的各一参考帧的各一参考帧(P帧或帧或I帧帧)进行双向预进行双向预测而来，但不用做基准帧，因此不会测而来，但不用做基准帧，因此不会传输误码，压缩比可达传输误码，压缩比可达(20~30):12828现代电视技术现代电视技术现代电视技术现代电视技术Modern Modern Television Television TechnologyTechnology 中国传媒大学信息工程学院中国传媒大学信息工程学院MPEG允许编码端允许编码端自行选择自行选择I帧的使用频率帧的使用频率及其在视频流中的位置，对及其在视频流中的位置，对随机存取、截取景物定位有利；同时允许编码端随机存取、截取景物定位有利；同时允许编码端自行选择参考帧之间自行选择参考帧之间的的B帧数帧数（如（如I帧与帧与P帧之间、帧之间、P帧与帧与P帧之间），但是帧之间），但是B帧数越多，存帧数越多，存储及处理就越复杂。

储及处理就越复杂如果只有前向预测，当前编码如果只有前向预测，当前编码帧中可能有许多宏块在参考帧帧中可能有许多宏块在参考帧中搜索不到匹配块，但在其后中搜索不到匹配块，但在其后面的帧中能够搜索到匹配块面的帧中能够搜索到匹配块过去帧过去帧当前帧当前帧将来帧将来帧2929现代电视技术现代电视技术现代电视技术现代电视技术Modern Modern Television Television TechnologyTechnology 中国传媒大学信息工程学院中国传媒大学信息工程学院P帧内有多种类帧内有多种类型的编码宏块：型的编码宏块：帧内块、前向帧内块、前向预测块、跳过预测块、跳过的块的块(位移矢量为位移矢量为0且预测误差为且预测误差为0的的宏块宏块)编码过程进行编码过程进行运动补偿判断、运动补偿判断、帧内编码判断、帧内编码判断、编码判断、量编码判断、量化后化后DCT系数系数的编码8.7.5 MPEG编码器工作原理3030现代电视技术现代电视技术现代电视技术现代电视技术Modern Modern Television Television TechnologyTechnology 中国传媒大学信息工程学院中国传媒大学信息工程学院B帧编码在预测时可能在前后参考帧找到两个匹配块，要进行加权和，帧编码在预测时可能在前后参考帧找到两个匹配块，要进行加权和，然后与当前帧的块进行预测编码，此时需传两个运动矢量。

然后与当前帧的块进行预测编码，此时需传两个运动矢量3131现代电视技术现代电视技术现代电视技术现代电视技术Modern Modern Television Television TechnologyTechnology 中国传媒大学信息工程学院中国传媒大学信息工程学院8.7.6 视频基本码流结构(见教材图见教材图8-30) 图像序列头 图像组 …… 图像组 序列尾 图像组头 图像 …… 图像 图像头 宏块片 …… 宏块片 宏块片头 宏块 …… 宏块图像序列层图 像 组层图像层宏 块 片层宏块层块层YCBCR8×83232现代电视技术现代电视技术现代电视技术现代电视技术Modern Modern Television Television TechnologyTechnology 中国传媒大学信息工程学院中国传媒大学信息工程学院8.7.7 MPEG-2解码3333现代电视技术现代电视技术现代电视技术现代电视技术Modern Modern Television Television TechnologyTechnology 中国传媒大学信息工程学院中国传媒大学信息工程学院 8.88.8　　MPEG-2系统复用系统复用8.8.1 系统复用将连续传输的数据流按一定的长度分段，构成具有特定结构和长度的一个个单元包。

Elementary StreamProgram StreamTransport StreamPacketized Elementary StreamService Information包长固定包长固定抗误码抗误码包长不固定包长不固定PES非定长，一般为一个存取单元的长度(视频帧or音频帧)为了实现解码同步，每段前还需插入相应的时间标记及相关标志符，如显示时间标签PTS (Presentation Time Stamp)、解码时间标签DTS (Decoding Time Stamp)及段内信息类型、用户类型等标志信息3434现代电视技术现代电视技术现代电视技术现代电视技术Modern Modern Television Television TechnologyTechnology 中国传媒大学信息工程学院中国传媒大学信息工程学院8.8.2 复用码流分析TS包长固定为188字节，传输系统间的连接格式连接格式，传输设备间的基本接口基本接口有关传输信息，长度不定，最小有关传输信息，长度不定，最小32bitPES包包包标识包标识3535现代电视技术现代电视技术现代电视技术现代电视技术Modern Modern Television Television TechnologyTechnology 中国传媒大学信息工程学院中国传媒大学信息工程学院8.8.3 节目专用信息PSI节目关联表节目关联表PAT：由：由PID为为0x0000的的TS包传送，为复用的每一路包传送，为复用的每一路TS提供所包含的节目和节目编号，以及对应节目的节目映射表提供所包含的节目和节目编号，以及对应节目的节目映射表(PMT)的的位置，位置，i.e. PMT的的TS包的包标识符包的包标识符(PID)的值。

的值见教材见教材p350-351)节目映射表节目映射表PMT：用于指示组成某一套节目的视音频和数据在：用于指示组成某一套节目的视音频和数据在TS中中的位置，以及每路节目的节目时钟参考的位置，以及每路节目的节目时钟参考(PCR)字段的位置字段的位置条件接收表条件接收表CAT：由：由PID为为0x0001的的TS包传送，提供复用流中包传送，提供复用流中CA系系统的有关信息，指定统的有关信息，指定CA系统与它们相应的授权管理信息系统与它们相应的授权管理信息(EMM)之间之间的联系，指定的联系，指定EMM的的PID以及相关参数以及相关参数网络信息表网络信息表NIT：提供多组：提供多组TS和传输网络相关的信息和传输网络相关的信息传送流描述表传送流描述表TSDT：由：由PID为为0x0002的的TS包传送，提供传送流的一包传送，提供传送流的一些主要参数些主要参数专用段专用段：用于传送用户自己定义的专用数据用于传送用户自己定义的专用数据描述符描述符：提供关于视频流、音频流、语言、层次、系统时钟、码率：提供关于视频流、音频流、语言、层次、系统时钟、码率等多方面的等多方面的3636现代电视技术现代电视技术现代电视技术现代电视技术Modern Modern Television Television TechnologyTechnology 中国传媒大学信息工程学院中国传媒大学信息工程学院3737现代电视技术现代电视技术现代电视技术现代电视技术Modern Modern Television Television TechnologyTechnology 中国传媒大学信息工程学院中国传媒大学信息工程学院 8.98.9　　H.264视频视频压缩编码压缩编码SERIES H: AUDIOVISUAL AND MULTIMEDIA SYSTEMSInfrastructure of audiovisual services – Coding of moving videoAdvanced video coding for generic audiovisual services①①码率低码率低②②容错能力强容错能力强③③网络适应性强网络适应性强④④计算复杂度高计算复杂度高基本型基本型(Baseline Profile)：帧内和帧间编码及：帧内和帧间编码及CAVLC (Context-based Adaptive Variable Length Coding)熵编码等。

低复杂度、低延时熵编码等低复杂度、低延时主型主型(Main Profile)：支持隔行扫描、双向预测帧间编码、加权预测帧：支持隔行扫描、双向预测帧间编码、加权预测帧间编码、间编码、CABAC (Context-based Adaptive Binary Arithmetic Coding)熵编码等压缩效果最佳，但延时大熵编码等压缩效果最佳，但延时大扩展型扩展型(Extended Profile)：包括了所有容错技术、对比特流的灵活访：包括了所有容错技术、对比特流的灵活访问、切换技术但不支持隔行扫描和问、切换技术但不支持隔行扫描和CABAC，主要针对流媒体应用主要针对流媒体应用8.9.1 H.264概述3838现代电视技术现代电视技术现代电视技术现代电视技术Modern Modern Television Television TechnologyTechnology 中国传媒大学信息工程学院中国传媒大学信息工程学院3939现代电视技术现代电视技术现代电视技术现代电视技术Modern Modern Television Television TechnologyTechnology 中国传媒大学信息工程学院中国传媒大学信息工程学院Previously coded pictures (reference pictures) may be used for inter prediction of further coded pictures. Reference pictures are organized into one or two lists (sets of numbers corresponding to reference pictures), described as list 0 and list 1.A video picture is coded as one or more slices, each containing an integral number of macroblocks from 1 (1 MB per slice) to the total number of macroblocks in a picture (1 slice per picture) The number of macroblocks per slice need not be constant within a picture.4040现代电视技术现代电视技术现代电视技术现代电视技术Modern Modern Television Television TechnologyTechnology 中国传媒大学信息工程学院中国传媒大学信息工程学院视频编码层视频编码层(VCL, Video Coding Layer)：包括基于块的运动补偿混合：包括基于块的运动补偿混合编码和一些新的特性，但不涉及前处理和后处理，灵活性高。

编码和一些新的特性，但不涉及前处理和后处理，灵活性高8.9.2 H.264系统层网络提取层网络提取层(NAL, Network Abstraction Layer)：将视频编码层：将视频编码层输出的视频格式转换成输出的视频格式转换成传输网络或存储媒体所传输网络或存储媒体所要求的合适格式另外要求的合适格式另外在在VCL和和NAL之间定义之间定义了一个基于打包方式的了一个基于打包方式的接口NAL按照下层网按照下层网络的打包格式来封装数络的打包格式来封装数据，包括组帧、逻辑信据，包括组帧、逻辑信道的信令、定时信息的道的信令、定时信息的利用、序列结束信号等利用、序列结束信号等4141现代电视技术现代电视技术现代电视技术现代电视技术Modern Modern Television Television TechnologyTechnology 中国传媒大学信息工程学院中国传媒大学信息工程学院8.9.3 H.264视频编解码框图4242现代电视技术现代电视技术现代电视技术现代电视技术Modern Modern Television Television TechnologyTechnology 中国传媒大学信息工程学院中国传媒大学信息工程学院4343现代电视技术现代电视技术现代电视技术现代电视技术Modern Modern Television Television TechnologyTechnology 中国传媒大学信息工程学院中国传媒大学信息工程学院帧内预测帧内预测：使用相同帧中已经重：使用相同帧中已经重建的像素块与当前进行编码的像建的像素块与当前进行编码的像素块进行预测编码，用以除去相素块进行预测编码，用以除去相邻块之间的空间冗余。

邻块之间的空间冗余8.9.4 帧内预测(Intra Prediction)图图8-44  9种预测模式种预测模式a~p当前被预测的块的像素A~M已编码并重建的像素=round(B/4+C/2+D/4)4444现代电视技术现代电视技术现代电视技术现代电视技术Modern Modern Television Television TechnologyTechnology 中国传媒大学信息工程学院中国传媒大学信息工程学院根据根据9 种预测模种预测模式计算产生的式计算产生的相应预测块相应预测块SAE为绝对误为绝对误差和差和) 与当前块的最匹配的块的最匹配的模型为模式模型为模式8，，因为该模式下因为该模式下的的SAE 最小且最小且最接近于原始最接近于原始4×4 块4545现代电视技术现代电视技术现代电视技术现代电视技术Modern Modern Television Television TechnologyTechnology 中国传媒大学信息工程学院中国传媒大学信息工程学院新增新增SP帧帧：基本原理同：基本原理同P帧，但它能够帧，但它能够参照不同的参考帧参照不同的参考帧重构出相同的图重构出相同的图像帧，可取代像帧，可取代I帧，广泛应用于流间切换、拼接、随机接入、快进快退、帧，广泛应用于流间切换、拼接、随机接入、快进快退、错误恢复，且大大降低码率开销。

错误恢复，且大大降低码率开销8.9.5 高精度运动估计和运动补偿技术新增新增SI帧帧：基于帧内预测编码，其重构图像和对：基于帧内预测编码，其重构图像和对SP的重构图像完全相同的重构图像完全相同MPEG-x为确保完全正确解码，切换为确保完全正确解码，切换帧不得使用当前帧之前的帧信息，即帧不得使用当前帧之前的帧信息，即只使用只使用I 帧，只好周期性地放置帧，只好周期性地放置I 帧，帧，造成视频流数据量增大，增加传输带造成视频流数据量增大，增加传输带宽的要求宽的要求4646现代电视技术现代电视技术现代电视技术现代电视技术Modern Modern Television Television TechnologyTechnology 中国传媒大学信息工程学院中国传媒大学信息工程学院1.不同大小和形状的宏块分割不同大小和形状的宏块分割：：MPEG-2仅仅16×16，，H.264可至可至4×4(亮度变亮度变化小的区域用大块，变化大的用小块，处理运动细节、减少块效应化小的区域用大块，变化大的用小块，处理运动细节、减少块效应)I macroblocks are predicted using intra prediction from decoded samples in the current slice. A prediction is formed either (a) for the complete macroblock or (b) for each 4×4 block of luma samples.P macroblocks are predicted using inter prediction from reference picture(s). An inter coded macroblock may be divided into macroblock partitions, i.e. blocks of size 16×16, 16×8, 8×16 or 8×8 luma samples (and associated chroma samples). If the 8×8 partition size is chosen, each 8×8 sub-macroblock may be further divided into sub-macroblock partitions of size 8×8, 8×4, 4×8 or 4×4 luma samples (and associated chroma samples). Each macroblock partition may be predicted from one picture in list 0. If present, every sub-macroblock partition in a sub-macroblock is predicted from the same picture in list 0.B macroblocks are predicted using inter prediction from reference picture(s). Each macroblock partition may be predicted from one or two reference pictures, one picture in list 0 and/or one picture in list 1. If present, every sub-macroblock partition in a sub-macroblock is predicted from (the same) one or two reference pictures, one picture in list 0 and/or one picture in list 1.4747现代电视技术现代电视技术现代电视技术现代电视技术Modern Modern Television Television TechnologyTechnology 中国传媒大学信息工程学院中国传媒大学信息工程学院4848现代电视技术现代电视技术现代电视技术现代电视技术Modern Modern Television Television TechnologyTechnology 中国传媒大学信息工程学院中国传媒大学信息工程学院4949现代电视技术现代电视技术现代电视技术现代电视技术Modern Modern Television Television TechnologyTechnology 中国传媒大学信息工程学院中国传媒大学信息工程学院2.多参考帧预测估计多参考帧预测估计：在帧间编码时，可选：在帧间编码时，可选5个先前帧作为运动估计的参个先前帧作为运动估计的参考帧。

在编码器缓存中，有多个刚刚编码好的参考帧，编码器对每个目考帧在编码器缓存中，有多个刚刚编码好的参考帧，编码器对每个目标宏块从其中选择一个编码效果更好的预测帧作为参考帧，并为每一宏标宏块从其中选择一个编码效果更好的预测帧作为参考帧，并为每一宏块指示是哪一帧被用于预测块指示是哪一帧被用于预测3.高精度估计高精度估计：：MPEG-2为半像素，为半像素，H.264采用采用1/4或或1/8像素精度的运动估像素精度的运动估计，残差小，编码效率高计，残差小，编码效率高5050现代电视技术现代电视技术现代电视技术现代电视技术Modern Modern Television Television TechnologyTechnology 中国传媒大学信息工程学院中国传媒大学信息工程学院8.9.6 整数DCT和Hadamard变换编码5151现代电视技术现代电视技术现代电视技术现代电视技术Modern Modern Television Television TechnologyTechnology 中国传媒大学信息工程学院中国传媒大学信息工程学院作业：作业：P377：全看懂选作7、8、12、18、21题5252。