HEVC H.265编码技术.ppt

HEVC￿H.265Agent2n￿￿H.265的发展背景和历程n￿￿H.265的关键技术n￿￿H.265编码能力对比n￿￿H.265的产品实现n￿￿H.265应用实测n￿￿H.265与4K视频背景 (1)3视频应用向以下几个方向发展的趋势愈加明显：l高清晰度(Higher￿Definition)：数字视频的应用格式从720￿P向1080￿P全面升级，在一些视频应用领域甚至出现了4K￿x￿2K、8K￿x￿4K的数字视频格式;l高帧率(Higher￿frame￿rate￿)：数字视频帧率从30￿fps向60fps、120fps甚至240fps的应用场景升级;l高压缩率(Higher￿Compression￿rate￿)：传输带宽和存储空间一直是视频应用中最为关键的资源，因此，在有限的空间和管道中获得最佳的视频体验一直是用户的不懈追求　　背景（2）4由于数字视频应用在发展中面临上述趋势，如果继续采用H.264编码就出现的如下一些局限性：　　(1)￿宏块个数的爆发式增长，会导致用于编码宏块的预测模式、运动矢量、参考帧索引和量化级等宏块级参数信息所占用的码字过多，用于编码残差部分的码字明显减少。

　　(2)￿由于分辨率的大大增加，单个宏块所表示的图像内容的信息大大减少，这将导致相邻的4￿x￿4或8￿x￿8块变换后的低频系数相似程度也大大提高，导致出现大量的冗余　　(3)￿由于分辨率的大大增加，表示同一个运动的运动矢量的幅值将大大增加，H.264中采用一个运动矢量预测值，对运动矢量差编码使用的是哥伦布指数编码，该编码方式的特点是数值越小使用的比特数越少因此，随着运动矢量幅值的大幅增加，H.264中用来对运动矢量进行预测以及编码的方法压缩率将逐渐降低　　(4)￿H.264的一些关键算法例如采用CAVLC和CABAC两种基于上下文的熵编码方法、deblock滤波等都要求串行编码，并行度比较低针对GPU/DSP/FPGA/ASIC等并行化程度非常高的CPU，H.264的这种串行化处理越来越成为制约运算性能的瓶颈H.265应运而生5基于以上应用发展趋势和H.264的局限性，面向更高清晰度、更高帧率、更高压缩率的高效视频编码标准(High￿Efficiency￿Video￿Coding）HEVC￿(H.265)协议标准应运而生￿HEVC的:l核心目标：在H.264/AVC￿high￿profile的基础上，保证相同视频质量的前提下，视频流的码率减少50%。

在提高压缩效率的同时，允许编码端适当提高复杂度（三倍计算复杂性下）l编码框架：沿用H.263的混合编码框架，即用帧间和帧内预测编码消除时间域和空间域的相关性，对残差进行变换编码以消除空间相关性，熵编码消除统计上的冗余度HEVC在混合编码框架内，着力研究新的编码工具或技术，提高视频压缩效率l技术创新：基于大尺寸四叉树结构的分割技术，多角度帧内预测技术，运动估计融合技术，高精度运动补偿技术，自适应环路滤波技术以及基于语义的熵编码技术H.265（HEVC）标准完成时间点6l2010年1月，ITU-T￿VCEG(Video￿Coding￿Experts￿Group)￿和ISO/IEC￿MPEG(Moving￿Picture￿Experts￿Group)联合成立JCT-VC(Joint￿Collaborative￿Team￿on￿Video￿Coding)了联合组织，统一制定下一代编码标准：HEVC(High￿Efficiency￿Video￿Coding)l2012.2：委员会草案（标准草案完成稿）；HEVC委员会草案获得通过l2012.7：HEVC国际标准草案获得通过；l2013.1：国际标准最终获得通过；Agent7n￿￿H.265的发展背景和历程n￿￿H.265的关键技术n￿￿H.265编码能力对比n￿￿H.265的产品实现n￿￿H.265应用实测n￿￿H.265与4K视频H.265关键技术(1)—四叉树编码结构8该结构使用编码单元(Coding￿Unit,￿CU)，预测单元(Prediction￿Unit,￿PU)和变换单元(Transform￿unit,￿TU)￿3个概念描述整个编码过程。

l编码单元：HEVC定义了5种类型的编码元:￿128×128(LCU)，64×64，32×32，16×16，8×8(Smallest￿Coding￿Unit,￿SCU)l对于每个CU，HEVC使用PU来实现该CU单元的预测过程，对于帧内预测，HEVC定义了34种帧内预测方向（H.264为9种），对于帧间预测，HEVC采取了运动矢量方案(MVR￿)、差值滤波(IF)、运动共享(MS)、运动向量竞争(MVC)和基于块的照明竞争(B-BIC)来提高编码性能l变换单元，则是针对正交变换和量化对于正交变换，HEVC采用包含了16×16，32×32和64×64等尺寸块的变换矩阵、旋转变换和基于模式的方向性变换来提高编码性能H.265关键技术(1)—四叉树编码结构9 LCU的树形结构示意图的树形结构示意图(a) 2N×2N(b) N×2N(c) 2N×N(d) N×N 4种种PU分割类型分割类型64×64CU所支持的所支持的4种种AMP分割形态分割形态HEVC的变换结构突破了原有的变换尺寸限制，可支持4×4至32×32的编码变换，以TU为基本单元进行变换和量化为提高大尺寸编码单元的编码效率，DCT变换同样采用四叉树型的变换结构。

下图为编码单元、变换单元的四叉树结构关系图，其中虚线为变换单元四叉树分割，实线为编码单元四叉树分割，编号为各编码单元的编码顺序H.265关键技术(1)—四叉树编码结构10左图是传统的H.264标准，每个宏块大小都是固定的；右图是H.265标准，编码单元大小是根据区域信息量来决定的H.265关键技术(1)—四叉树编码结构11H.265关键技术(2)—预测编码技术12HEVC的帧间、帧内预测的基本框架与H.264基本相同：采用相邻块重建像素对当前块进行帧内预测，从相邻块的运动矢量中选择预测运动矢量，支持多参考帧预测等HEVC改进之处：帧内预测将原有的8种预测方向扩展至33种，增加了帧内预测的精细度另外，帧内预测模式保留了DC预测，并对Planar预测方法进行了改进目前HM模型中共包含了35种预测模式，下图只显示了34种，未显示Planar预测方法n多角度帧内预测多角度帧内预测H.265关键技术(2)—预测编码技术13n帧间预测技术帧间预测技术 l广义B预测技术：HEVC仍然采用了H.264中的B预测方式，同时还增加了广义B(Generalized￿P￿and￿￿B￿picture，GPB)预测方式。

GPB预测结构对传统P帧采取双向预测方式进行预测，前向和后向参考列表中的参考图像都必须为当前图像之前的图像，且两者为同一图像，这种运动预测方式增加了运动估计的准确度，提高了编码效率l高精度运动补偿技术：a.HEVC的编码器内部增加了像素比特深度，最大可支持12￿bit的解码图像输出，提高了解码图像的信息精度b.HM模型采取了高精度的双向运动补偿技术，即无论最终输出图像比特深度是否增加，在双向运动补偿过程中都将使用14￿bit的精度进行相关计算l运动融合技术：将以往的跳过预测模式(Skip￿Mode)和直接预测模式(Direct￿Mode)的概念进行了整合采用融合模式时，当前PU块的运动信息(包括运动矢量、参考索引、预测模式)都可以通过相邻PU的运动信息推导得到编码时，当前PU块只需要传送融合标记(Merge￿Flag)以及融合索引(Merge￿Index)，无需传送其运动信息l自适应运动矢量预测技术：为一般的帧间预测PU服务，通过相邻空域相邻PU以及时域相邻PU的运动矢量信息构造出一个预测运动矢量候选列表，PU遍历运动矢量候选列表，在其中选择最佳的预测运动矢量利用AMVP技术可充分发掘时域相关性和空域相关性。

H.265关键技术(3)—环路滤波141个HEVC环路滤波包括3个环节：l去块滤波：在H.264的去块滤波技术的基础上发展而来的，但为了降低复杂度，目前的HM模型取消了对4×4块的去块滤波l采样点自适应偏移(Sample￿Adaptive￿Offset，SAO)：HEVC采用的新技术，SAO在编解码环路内，位于Deblock之后，通过对重建图像的分类，对每一类图像像素值加减一个偏移，达到减少失真的目的，从而提高压缩率，减少码流分为带状偏移(Band￿Offset，BO)和边缘偏移(Edge￿Offset，EO)两大类l自适应环路滤波(Adaptive￿Loop￿Filter，ALF)：HEVC采用的新技术，在编解码环路内，位于Deblock和SAO之后，用于恢复重建图像以达到重建图像与原始图像之间的均方差(MSE)最小H.265关键技术(4)—熵编码15H.￿264的熵编码CABAC编码器采用串行处理的方式，解码端需要非常高频率的计算能力；而H.265选用了两种并行商编码方案，提高并行处理能力，降低对解码端芯片的频率要求：l可支持上下文自适应变长编码(CAVLC)：用于低复杂度的编码场合l基于语法元素的上下文自适应二进制算术编码(SB-CABAC)：用于高效的编码场合。

H.265关键技术(5)—细粒度slice分块边界16H.265的熵编码slice边界划分不以LCU为单位，而是以更小的CU为单位，每个slice的大小都可以精确控制，同时解决了码率控制和负载均衡的问题但是带来的代价是slice边界处理更为复杂片的分割如图：H.265关键技术(6)—比H.264改进之处17相对于H.264，H.265标准的算法复杂性有了大幅提升，以此获得较好的压缩性能H.265在很多特性上都做了较大的改进，具体各项改进如表所示：￿H.264H.265MB/CU大小4×4‥16×164×4‥64×64亮度插值Luma-1/2像 素 {1,-5,20,20,-5,1}Luma-1/4像素{1,1}Luma-1/2像素{-1,4,-11,40,40,-11,4,-1}Luma-1/4像 素 {-1,4,-10,57,19,-7,3,-1}Luma-1/4像 素 {-1,3,-7,19,57,-10,4,-1}MVP预测方法空域MVP预测空域+时域MVP预测AMVP\Merge亮度Intra预测4×4/8×8/16×16:9/9/4模式34种角度预测+Planar预测DC预测色度Intra预测DC,Horizontal,Vertical,PlaneDM,LM,planar,Vertical,Horizontal,DC,diagonal变换DCT￿4×4/8×8￿DCT￿4×4/8×8/16×16/32×32￿￿￿DST￿4×4￿去块滤波器4×4和8×8边界Deblock滤波较大的CU尺寸，4×4边界不进行滤波Agent18n￿￿H.265的发展背景和历程n￿￿H.265的关键技术n￿￿H.265编码能力对比n￿￿H.265的产品实现n￿￿H.265应用实测n￿￿H.265与4K视频编码能力对比19图像大小-帧数场景视频质量PSNR￿Y主观同等质量下的码率(kbps)码率降低比率H.264H.265D1-24fps简单4353835134.8%风景45.8120575037.8%运动38.5123078036.6%720P-24fps简单42.583553735.7%风景45.4207013593.5%运动39.52252144236.0%分别采用不同的编码技术编出D1和720P的视频，在同等分辨率下每种编码技术码率对比如下表所示：编码能力对比20l相同质量情况下，H.265编码比H.264编码的码率减少25%～35%。

l质量越高，编码后的码率差别越大编码能力对比21编码能力对比22编码标准码率降低的平均值H.264/MPEG-4￿AVC￿HPMPEG-4￿ASPH.263￿HLPH.262/MPEG-2￿MPHEVC￿MP35.4%63.7%65.1%70.8%H.264/MPEG-4￿AVC￿HP---44.5%46.6%55.4%MPEG-4￿ASP------3.919.7%H.263￿HLP---------16.2%相同PSNR时，几种不同视频编码标准的对比：压缩能力对比23Agent24n￿￿H.265的发展背景和历程n￿￿H.265的关键技术n￿￿H.265编码能力对比n￿￿H.265的产品实现n￿￿H.265应用实测n￿￿H.265与4K视频H.265的产品实现—编码器251.编码器（硬件）：2.￿编码器（软件）：l2013年1月8日，Vanguard￿Video发表了V.265，一个专业的纯软件HEVC编码器，能达到实时的编码性能同年6月，￿V.265专业HEVC编码器加入了Main￿10￿profile的支持，成为第一个支持Main￿10￿profile的实时HEVC软件编码器。

l2013年8月8日，日本电信发布了他们的HEVC-1000￿SDK软件编码器，能支持Main￿10￿profile、分辨率最高7680x4320以及祯率最高到120￿fpsl2013年9月，北京瑞普图视发布其国内首款H.265实时编码软件，可以轻松地分别实现1路1080p、2路720p、4路480p的实时输入、编码压缩、实时输出，延时小于1秒以内，画面清晰流畅l2013年10月，Ateme正式发布HEVC编码器，能够以60fps、平均15￿Mbit/s的码率编码3840x2160p分辨率的视频l2012年8月22日，Ericsson发表了世界第一个HEVC编码器Ericsson￿SVP￿5500，可做到实时编码视频，并首先用于在移动网络上提供电视节目H.265的产品实现—解码器（硬件）26l2012年9月，法国Allegro￿DVT推出了全球首款HEVC广播配件：AL1200HD-SDI解码器与AL2200IP转码器，并于2013年7月改进了其HEVC解码器IP，增加Main￿10￿profile的支持l2013年1月8日，博通发表了一个UHD解码芯片BCM7445，能够运行解码HEVC至最高4096x2160p分辨率于60￿fps。

BCM7445采用28纳米ARM架构，能达到21,000Dhrystone的每秒百万指令，预计在2014年中批量生产l2013年2月11日，MIT于国际固态电路研讨会(ISSCC)上，展示了世界第一个HEVC￿ASIC解码器他们的芯片能够实时解码3840x2160p￿30fps的视频流，并消耗低于0.1瓦的电力lARM不仅在其Mali-T600￿GPU上实现了1080P的HEVC解码，2013年10月，ARM还发布其全球第一个4Kx2K￿实时硬解H.265的GPU芯片Mali-T764，可支持OpenGL￿ES￿3.0和OpenCL￿1.2Mali-T764最大特点是采用第三代MIDgard架构H.265的产品实现—解码器（软件）27l2012年2月29日，￿世界移动通信大会上，高通展示了一个HEVC解码器运行在Android平板上，使用了Qualcomm￿SnapdragonS4￿双核心处理器运行在1.5GHz，将同一个视频以H.264/AVC和HEVC同时并发播放，HEVC展现了较H.264/AVC几乎节省了50%的比特率l2013年3月，NTT￿DoCoMo开始授权其HEVC解码软件，能够在个人计算机上拨放4K￿UHDTV的视频于60￿fps以及在智能上拨放1080p的视频，在一个JCT-VC文件内，该软件解码器能够在2.7￿GHz￿四核心Ivy￿BridgeCPU的平台上，以3个线程解码3840x2160于60￿fpsl2013年4月3日，Ateme发布了第一个开放源代码实现的HEVC软件播放器，基于OpenHEVC解码器和GPAC视频播放器(两者都基于LGPL授权)。

OpenHEVC解码器支持HEVC￿Main￿profile，能够用宏内核的CPU来解码1080p￿30fps的视频，同时还有一个支持HEVC的实况转码器搭配GPAC视频拨放器H.265的产品实现—编解码器28l2012年9月6日，Rovi￿Corporation发表一个HEVC适用的MainConcept￿SDK，￿HEVC￿MainConcept￿SDK包含了一个解码器、编码器及传输多任务器，可在Microsoft￿Windows、Mac￿OS、Linux、iOS及Android上运行l2013年3月14日，Ittiam￿Systems发布了一个HEVC视频编码器及解码器，其中编码器是基于Intel￿x86软件，能编码高清(HD)放送质量的视频而解码器软件可在基于ARM￿￿Cortex™-A9以及Cortex™-A15的SoC上运行，允许大部分现存的消费性电子设备譬如智能、平板电脑、智能电视、机上盒来拨放高解析的HEVC内容l2013年9月6日，Thomson￿Video￿Networks展示了一个试验式的UHD传输用的HEVC编解码器，并且被人造卫星传输营运商HISPASAT所采用。

H.265的产品实现—转码器及其他29l2013年9月11日，ViXS￿Systems了XCode￿6400￿SoC，在HEVC￿Main￿10￿profile下支持4K分辨率于60￿fps，以及Rec.￿2020色彩空间并于2013年12月18日正式出货l2013年8月21日，Microsoft发布了一个用于HEVC的DXVA（DirectX￿Video￿Acceleration）规范，支持Main、Main￿10及Main￿Still￿Picture￿profileDXVA￿2.0可进行HEVC解码的硬件加速，兼容的解码器可使用DXVA￿2.0进行以下操作：比特流解析、去区块、反量化缩放、反转换以及运动补偿l2013年9月，DivX在DivX￿10.0中提供了DivX￿HEVC￿Plug-in，激活后即可播放或将其他格式视频转换为HEVC视频￿DivX￿10.1￿Beta版的解码器能分别以210.9￿fps、101.5￿fps、29.6￿fps的速度来解码720p、1080p、4K的视频l2013年1月，三星电子在F8500等离子电视支持HEVC解码H.265的产品实现—云网行CR12 30l采用最新的瑞芯微RK3288芯片。

lCPU：四核Cortex-A17构架处理器，最高主频达到1.8GHzlGPU：最新、最强的8核MaliT76Xl强劲的CPU、GPU，支持4K*2K视频H.265硬解l通过HDMI2.0展现完美的4K视频播放输出云网行2014年6月推出的新品--云网行CR12：Agent31n￿￿H.265的发展背景和历程n￿￿H.265的关键技术n￿￿H.265编码能力对比n￿￿H.265的产品实现n￿￿H.265应用实测n￿￿H.265与4K视频H.265应用实测（迅雷）32测试配置：Athlon￿II￿X4￿640￿3.0GHz；DDR3￿1333￿6GB￿（DC+￿enabled）；Windows￿7￿64bit测试仅用一个场景片段，一个码率预设值，来测试迅雷HEVC编码器的速度与压缩效率，同时与H264作对比测试参数配置：编码测试结果：CPU基本满载编码，HEVC用时83分钟，H.264用时10分钟左右绝对数值与硬件配置有关）解码测试结果：￿从启动播放器到播放到30秒处的CPU时间分别如下：HEVC:￿27秒；H264:￿19秒测试片源：1280X720，时长1分33秒编码软件：Lentoid￿HEVC￿Encoder（北京视骏￿）￿￿；￿￿解码软件：￿Lentoid Codec, 版本是2.0.02013年3月30日迅雷看看独家首发了H.265升级版客户端，成为行业内首个将H.265技术标准从试验阶段正式大规模投入商用的企业。

H.265应用实测（迅雷）33HEVC在控制block方面做得很不错线条方面，HEVC的线条走样远小于AVC方案，但水面细节涂抹的很严重高动态下的效果，HEVC对细节的涂抹非常严重，甚至x264都保留了更多背景的粒子特效源片H.265/HEVCH.264/AVCH.265应用测试（PPS）34臻高清测试环境：Windows7旗舰版、AMD￿FX-5000￿(4核)、显卡GTX-260、￿￿￿￿￿￿￿￿￿￿￿￿￿￿￿￿￿￿￿￿￿￿￿￿￿￿￿内存￿￿￿DDR3￿4GB2013年4月，PPS发布了支持H.265技术的“PPS影音”客户端，并以“臻高清”命名成为独立品牌，成为国内首家自主研发支持H.265技术，并掌握核心技术的视频应用公司，实现视频1080P画质2012年9月，PPS正式成立了H.265研发团队这个由有8人组成的团队，经过半年的时间开发，推出了国内首家支持H.265技术的客户端产品H.265应用测试（PPS）35PPS普通画质版-见龙卸甲截图，刘备眼部模糊PPS高清画质版-见龙卸甲截图，刘备面部略灰　PPS超清画质版-见龙卸甲截图，刘备面部比较清晰PPS臻高清画质版-见龙卸甲截图，刘备目光锐利、面部栩栩如生测试一：画质清晰度对比H.265应用测试（PPS）36测试二：四种画质流量占用统计：测试影片来源清晰度下载文件大小（MB）我知女人心PPS普通423高清601影片时长超清10281小时56分钟臻高清（1080P）1728其他渠道1080P4446臻高清服务，画质级达1080P视频时，远远小于其他下载渠道1080P级别影片大小，PPS流量占用1728M仅为第三方下载流量占用4446M的38.9%，实际节省流量达61.1%。

H.265应用测试（PPS）37测试3：流畅度测试某高清播放器（720P）PPS臻高清播放器（1080P）流畅度主要取决于两个方面：在一定画质下，缓冲速度、前后快进响应速度Agent38n￿￿H.265的发展背景和历程n￿￿H.265的关键技术n￿￿H.265编码能力对比n￿￿H.265的产品实现n￿￿H.265应用实测n￿￿H.265与4K视频H.265与4K39l￿4K是新兴的分辨率标准，其中：ØUHDTV为：3840×2160￿￿{电视￿4K，￿16:9￿画面比例｝ØFullAperture￿为4096×3112￿￿{电影，DCI￿4K￿Native（画面比例￿1.90:1）}4K分辨率远胜目前主流的720p/1080p数据量也达高清的4倍以上l对比1080p的1920×1080，4K能够提供4倍以上的清晰度4K”￿成了高档电视的标签H.265与4K40020406080100120140PSNR(DB)码率（Mbps)鸭子4K￿电视《鸭子》片段3840X21602012年，爱立信￿对4K电视所做H.265与H.264编码效果对比：H.264H.265测试结果：1.HEVC￿可以以比￿AVC低￿53%￿码率，达到同样的客观画面品质。

2.相同码率下，H.265编码的客观画质要好很多3.曲线反映了压缩后要达成某级别的画面品质所需要的码率H.265与4K41编码标准相比H.264/AVC平均码率降低量480P720P1080P4K￿UHDH.265/HEVC52%56%62%64%2014年5月，BBC和西苏格兰大学也对H.265/HEVC和H.264/AVC做了比较测试，对一组视频分别用HM-12.1￿HEVC和JM-18.5￿H.264/MPEG-4￿AVC￿进行编码结果显示，用H.265编码，码率平均降低59%，针对不同分辨率的码率降低如表：H.265 RoadMap。