多视点视频编码(3D)课件.ppt

多视点视频编码的研究现状及其原理,多视点视频指的是由不同视点的多个摄像机从不同角度拍摄同一场景得到的一组视频信号，是一种有效的3D视频表示方法，能够更加生动地再现场景，提供立体感和交互能力 ITU-T和MPEG的联合视频组（JVT, joint video team）提出了多视点视频编码(MVC, multiview video coding)的概念MVC主要致力于多视点多视频的高效压缩编码，是未来视频通信领域中的一项关键技术，也是国际视频标准化组织正在研究的热点问题根据不同的视频编码框架，MVC可分为基于小波的MVC方法和基于运动补偿加块变换的MVC方法基于小波的MVC方法对现有小波视频编码框架的扩展，其突出优点是具有良好的可分级性基于运动补偿加块变换的MVC方法是在现有运动补偿加块变换框架的基础上通过添加新技术以提高MVC的编码效率为了进一步扩展h.264AVC的功能，使其具有更为广阔的应用前景,JVT相继公布了3个扩展标准，它们分别是高保真范围扩展、4：4：4格式扩展和可分级视频编码考虑到3D视频的广阔应用前景，T决定将MVC作为H.264/AvC的第四个扩展标准多视点视频序列是由一组摄像机阵列同步拍 摄得到的。

多视点视频编码体系结构 多视点视频编码体系结构如图2所示，其核心模块包括多视点视频的编码、存储/传输和解码由摄像机阵列拍摄的N个视点的视频并行输入到MVC编码器，经编码后生成单个码流用于存储或传输，解码端对输入码流进行解码后恢复出多视点视频考虑到与不同显示设备的兼容问题，解码端根据用户的需求恢复出一个或多个视点的视频MVC现阶段MVC的主要研究方向 包括MVC的预测结构研究、多视点视频的运动和视差补偿技术、多视点视频编码中的视点图像插值和颜色校正等国内研究机构也纷纷开展MVC的研究工作，主要从MVC编码方案设计、颜色校正、视差估计和速率控制等几个方面开展多视点视频编码的主要研究内容 经过几年的研究，MVC主要从预测结构、提高MVC编码效率的技术和高层语法3个方面展开的一、预测结构 在H.264/AVC编码框架下，去除视点间冗余最直接的方式是在编码当前图像时使用其他视点中的已解码图像作为参考图像进行位移估值和帧间预测，这种方法称为视点间预测如何设计时间预测和视点间预测以有效利用 时间和视点间相关性MVC预测结构需要解决的 问题预测结构大体上可分为两类第一类预测结构以提高编码效率为目的，例如顺序视点预测结构、基于分层B帧的视点间/时间混合预测结构以及基于最小生成树的预测结构等。

第二类预测结构考虑除编码效率之外的其他一些功,能需求，如随机访问性能、初始解码时延、编 解码复杂度等该类预测结构为了满足某些特 定的需求，往往以牺牲编码效率为代价二、提高MVC编码效率的技术 预测结构一经确定后，如何有效进行视点间预测来提高编码效率是MVC研究的一个主要内容根据所使用方法的不同，视点间预测技术大致可分为两类：利用现有视点间相关性提高MVC编码效率的技术和补偿视点间差异性提高MVC编码效率的技术1、利用现有视点间相关性提高MVC编码效率的技术 视点间预测指的是采用邻近视点中已解码 的图像作为参考图像对当前待编码图像进行预 测根据利用视点间相关性进行预测信息的不 同，视点间预测技术可进一步分为视点间采样 点预测和视点间运动信息预测两大类 1)视点间采样点预测 各个视点的图像之间存在很强的相似性，可使 用视点间参考图像的采样值来预测当前编码图,像的采样值视差矢(DV disparityvector) 指的是场景中同一点在各视点中投影位置之间的相对偏差根据DV的定义，在获得准确DV信息后可以有效地进行视点间采样点预测2)视点间运动信息预测 多个摄像机拍摄同一场景时，场景中某一 运动物体在各视点的投影的运动特性具有很强 的相似性，利用此特性可进一步提高MVC编码效率。

运动跳过模式(motion skip mode)正是基于这种运动相似性提出的编码一个块时，该模式首先寻找与当前编码块具有相似运动的视点间匹配块，然后将匹配块的运动信息作为当前编码块的运动信息进行运动补偿预测，最后对预测差进行编码采用运动跳过模式，当前编码块运动信息可由视点间匹配块运动信息推导得出，不需要传输至解码端，从而有效降低运动信息的编码开销基于全局视差(GDV,globaldisparityvector)的运动跳过模式认为当前编码块GDV指向块的运动信息具有很强的相似性然而，对于图像中每个编码块，GDV不一定是最佳DV，往往与真实DV存在较大偏 差因此提出了一种基于精细粒度匹配的运动跳过模式，其具体思想是在GDV指向块附近进行搜索，寻找具有与当前编码块运动信息更相似的匹配块在实际编码过程中，编码器根据一定准则在运动跳过模式和H.264/AVC已有模式中选择最优的预测编码模式实测表明，相比于JMVM (joint multiview video model联合多视点视频编码模，将该模型作为评价MVC性,能的公共测试平台）基于GDV的运动跳过模式可获0.0170.452dB的编码增益，基于精细粒度匹配的运动跳过模式可获得0.0760.721dB的编码增益。

因能获得较高编码增益，这两项技术都被接收到JMVM中2、补偿视点间差异性提高MVC编码效率的技术,以上介绍的两类方法适用于视点间相关性很强的序列但在实际应用中，由于场景的光照条件、拍摄角度、摄像机参数不一致等原因，场景中同一物体在各摄像机上的投影存在一定的差异视点间差异减弱了视点间相关性，致使视点间预测不能有效地去除视点间冗余，降低了MVC的编码效率因此，如何通过补偿视点间差异性进而更充分地利用视点间相关性提高MVC编码效率也是MVC的关键技术之一以下主要介绍针对多视点视频中存在的亮度差异、颜色差异、几何差异和聚焦差异进行补偿的技术1)亮度补偿 亮度差异是不同视点图像间最常见的差异引起亮度差异的原因主要有2个：一是摄像机内部参数的不一致使得在同一时间、同一地点拍摄的图像存在亮度差异；二是由于摄像机位置和镜头拍摄角度不同造成物体表面反射到摄像机镜头内的光强随着拍摄角度的变化而变化，进而导致图像亮度的差异2)颜色补偿,根据补偿位置不同，颜色补偿方法可分为基于预处理的颜色补偿方法和基于编码的颜色补偿方法基于预处理的颜色补偿方法指的是在编码,之前选取一个视点为基准视点，对其他非基准视点进行颜色补偿，然后将补偿后的非基准视点与基准视点进行编码。

基于编码的颜色补偿方法主要用于提高编码视点和参考视点的相似性，使得在编码过程中有效地利用视点间相关性提高MVC的编码效率3)虚拟视图合成预测 由于拍摄角度的差异，多个摄像机在拍摄同一场景时，生成的视点之间存在几何失真虚拟视图合成预测(VSP view synthesis prediction）是针对补偿几何失真提出的，其主要思想是利,用深度信息或视差信息合成一个虚拟视图用作当前编码图像的参考图像，并要求生成的虚拟视图比视点间参考图像更接近于当前编码图像，从而提高MVC的编码效率4)自适应参考图像滤波 多个摄像机拍摄同一场景时，生成的视点图像可能存在聚焦失配的情况，这也会减弱视点 间相关性，影响MVC的编码效率引起视点图像聚焦失配的原因主要有2个：一是摄像机未精确校准，这种失配具有全局性，表现为一个视点的图像比另一个视点的图像模糊；二是被拍摄物体到各摄像机之间的距离不同，这种失配具有局部性，表现为同一物体在各视点图像的清晰度不同 自适应参考图像滤波(ARF, adaptive reference filtering主要是针对各视点图像的聚焦差异进行,补偿该方法首先根据深度信息将图像分成几 个区域，并根据预测差能量最小化准则求解每 个区域的最佳滤波器参数。

然后，根据求得的 滤波器参数构造几个模糊程度不同的视点间参 考图像，与原始视点间参考图像一起用于视点 间预测 三、 MVC高层语法 MVC高层语法的研究主要集中在MVC语法 和语义的设计MVC需要根据多个视点联合 编码的特点，扩展H.264/AVC语法和语义关于MVC扩展的高层语法主要有以下4个方面：一是在序列参数集中添加语法元素，用来说明视点的数目以及定义各视点之间的预测关系；二是扩展网络抽象层单元(NALU)的语法元素，添加当前NALU属于哪个视点，是否做视点间参考图像等信息；三是设计适合MVC的参考图像管理机制，包括参考图像标记、参考图像列表初始化以及参考图像重排序等；四是扩展H.264/AVC附加增强信息(SEI supplemental enhancement information)，使其能够支MVC中所定义的各项功能需求，如视点可分级性、支持观看部分视点、并行处理等。