低时延高清视频编解码技术研究.docx

    低时延高清视频编解码技术研究    汪洋Summary：针对实时性要求较高的高清视频应用系统中标准视频编解码算法时延大的问题，在分析标准视频编解码算法的码流特性以及视频编解码系统的时延模型的基础上，开展了低时延高清视频编解码技术研究基于标准视频编解码算法提出了无I帧全P帧的低时延编解码算法，并研究了与之相适应的码率控制算法经试验验证，与标准视频编解码算法相比，采用新研究算法的高清视频编解码系统时延得到了大大降低，新研究算法可用于H.264/H.265等标准视频编解码算法中降低时延Key：高清视频；视频编解码；低时延；码率控制：TP393文献标志码：A：1008-1739（2019）05-63-30引言在實时性要求较高的应用领域，比如采用4G网络对比赛现场进行高清视频实况转播，从比赛现场到电视用户的低时延会提升用户的现场感受；通过无线信道传输高清视频，“人在回路”控制无人机[1]锁定地面跟踪目标，时延越小操作手更能及时捕获目标的移动高清视频信号使人们享受高画质的同时，也带来了高码流、高存储空间和高传输带宽等问题，单纯地扩大存储容量空间和提升网络传输带宽不能从根本上解决问题，进行合适的数字视频压缩编解码是改变现状的重要途径。

视频编解码一般采用商用国际标准，如H.264[2-3]，H.265[4]等，商用视频编解码国际标准主要针对于消费娱乐、网络、会议电视和影视等应用场景，注重恢复图像质量，不考虑时效性一般商用视频编解码系统的时延在500 ms以上，不能满足比赛实况高清转播、“人在回路”控制无人机的实时性要求本文分析了标准视频编解码算法的码流特性以及视频编解码系统的时延模型，开展了低时延的视频编解码技术[5]以及相对应的码率控制算法[6-7]研究1标准算法码流特性分析在标准视频编码算法中图像序列被划分为I帧、P帧和B帧，如图1所示，其中I帧只进行帧内编码，压缩比低，数据量较大，高质量的I帧压缩能够提高后续P帧和B帧的预测准确性P帧以I帧或P帧为参考帧间预测编码，其数据量较小，与I帧图像相比压缩性能有了较大提高B帧以I帧或P帧为参考，因为双向帧间预测能够比单向预测更有效地消除时间冗余信息，因此压缩比非常高对时延有要求的实时编解码系统中一般不使用B帧，仅使用I帧和P帧，编码序列一般为IPP…IPP…选用一段视频测试序列采用商用标准算法进行编码，存储编码数据，用商用软件Elecard Streameye打开编码数据，I帧和P帧编码后数据示意图如图2所示，红柱代表I帧编码后的数据比特数，蓝柱代表P帧编码后的数据比特数。

由图2可知，I帧和P帧的编码效率不同，在相同的重建图像质量下，I帧和P帧的压缩比通常是1：4，甚至更加悬殊通过4G网络或无线信道传输时，带宽有限，为了平滑不同编码方式导致的I帧，P帧图像编码后的数据量波动，必须在编码器设置较大缓冲区来缓存突发增加的数据，然后根据网络/信道带宽发送，这导致了后续P帧的编码数据不能及时传输到地面同时由于I帧的编码数据量较大，解码器必须在接收到完整的图像编码数据才能完成解码，在等待完整I帧数据解码过程中需要显示已解压的P帧图像数据，对已解压的P帧图像进行缓存用于平滑显示，导致解压后的P帧不能及时显示因此，I帧图像编码后的数据量突发增大导致了后续P帧编码数据不能及时传输到地面，且地面已解压的P帧不能及时显示，这些都显著增加了视频编解码系统的时延2时延模型分析视频编解码系统延迟模型如图3所示在标准视频压缩算法中，由于I帧，P帧采用不同的编码技术，其压缩比一般为1：4，同时各帧图像内容千差万别，各帧编码后码流波动较大，码流波动是造成标准算法时延在500 ms以上的主要原因在高清视频1080P 30帧/s编解码情况下，按通常I帧，P帧的压缩比为1：5分析系统时延，视频编解码系统时延关系图如图4所示。

①1：采集一帧图像时间为33 ms；②2：编码1帧的平均时间为20 ms；③3：为缓存编码完成没有及时发送出去数据的时间，由于I帧，P帧编码后的数据量一般为1：4，因此I帧编码完成后缓存的数据需要传输4个P帧编码数据传输的时间，为了保证缓冲区不溢出，一般为200 ms；④4：解码缓存20 ms的数据后开始解码；⑤5：解码一帧时间大概为20 ms；⑥6：显示缓冲，由于等待I帧数据接收解码完成的过程中，需要显示以前已解压的图像，一般需要缓存3帧图像才能保证图像的流畅平顺显示，不发生跳帧现象，7为99 ms；⑦8：显示时间，显示一帧图像的时间为33 ms，则整个系统的时延为：= 1+ 2+ 3+ 4+ 5+ 6+ 7+ 8=33+20+200+20+20+99+33=425 ms此外由于编码器输出码流的速率与信道传输的速率不可能完全匹配，故实际的时延一般会比上述理论分析值大3低时延视频编解码技术3.1算法原理在标准算法中，由于编码帧类型的不同导致了I帧编码后的数据突发增大，使得整个视频编解码系统的时延增大要减少现有编解码系统的时延，必须改变其结构，同时对现有的编解码算法进行优化，以适应实时编解码的要求。

基于条带的低时延编解码结构，如图5所示在该结构中，将原有I帧化整为零，每个图像帧中都有一个条带（I-Slice）采用原有的I帧方式编码，其余條带（P-Slice）采用原有P帧编码方式编码这样，每帧的编码方式基本相同，编码后不存在标准算法中I帧和P帧之间的较大码流差别，每帧图像编码后的数据量相对平稳，机载编码器可以设定较小的发送缓冲区，编码后的图像数据能够及时发送到地面同时，地面解码器不用缓存几帧已解压的图像数据用于显示平滑，使得整个编解码系统的时延大大降低3.2算法流程步骤1：如果采集的图像是第一帧图像，则整帧图像的slice个slice都采用帧内编码的方式进行编码，否则转到步骤2步骤2：如果采集的图像是第帧（=2，3，4…），则该帧图像的第（modslice）个slice采用帧内编码的方式，该帧的其他slice采用帧间编码的方式之所以每帧I-slice的位置不同，是为了保证经过slice帧之后，从第1～slice个位置的每个slice都可以采用帧内编码方式编码一次，从而防止编码过程中误差的扩散步骤3：编码完成一个slice之后，获取数据，送往发送缓冲区，传输至接收端步骤4：解码器循环访问接收缓冲区，如果接收缓冲区中有一个完整的slice，则取出该slice，进行解码，解码完成后送入显示缓冲区；否则，解码器等待一段时间后再次访问接收缓冲区。

步骤5：如果显示缓冲区中的数据包含完整的一帧，则送往显示设备显示；否则暂存已有的数据，并继续接收解码后的数据3.3基于PID的码率控制算法研究码率控制的目的是在有限带宽条件下，使得视频信号的恢复质量尽可能好被编码的视频信号通过一个缓冲区发送出去，有效的缓冲区控制策略能够避免较大的缓冲区延迟和由于跳帧所导致的视频质量波动本系统利用基于反馈的比例积分微分（Proportional Integral Derivative，PID）缓冲区控制策略，能更准确地控制输出位率，在满足延迟要求和有限资源的条件下，有效降低跳帧频率，提高视频输出的连续性，获得较好的图像恢复质量PID控制器以其结构简单、稳定性好、工作可靠和调整方便而成为工业控制的主要技术之一当被控对象的结构和参数不能完全掌握，或得不到精确的数学模型，控制理论的其他技术难以采用时，系统控制器的结构和参数必须依靠经验和现场调试来确定，这时应用PID控制技术最为方便PID控制器根据系统的误差，利用比例、积分和微分计算出控制量进行控制在一个过程中能否引入PID控制概念的基本前提和假设有3点：必须能够明确地确立指标；必须能够获得表示实际结果与标准结果之间偏差的信息；必须有措施来纠正实际结果与标准结果之间的偏差。

经分析，码率控制过程满足引入PID理论的前提条件，因此建立以缓冲区为控制对象的基于PID的P帧码率控制模型，如图6所示4试验验证选用与图2中测试相同的视频测试序列，采用基于标准算法改进后的低时延编码算法进行测试，存储编码码流，用商用软件Elecard Streameye打开编码码流，每帧编码后数据示意图如图7所示，蓝柱代表P帧编码后的数据比特数由图7可以看出，每帧图像编码后的数据量波动不大，这样编码器不用设置较大的发送缓冲区，解码器不用缓存几帧解压图像用于平滑显示，大大降低了视频编解码系统的时延在实际的高清视频编解码系统中进行时延测试，时延测试方法示意图如图8所示测试方法描述：用高清摄像头对准秒表，高清视频1分2，1路直接接视频监视器1，1路送给视频编码器，视频编码器压缩数据通过同步数据传输机制传输到视频解码器中解压，最终在视频监视器2上显示采用新研究的编解码算法以及码率控制算法，高清视频编解码系统的时延由标准算法的450 ms降低到60 ms左右，时延得到了大大的降低5结束语本文分析了标准视频编解码算法的码流特性以及视频编解码系统的时延模型，基于标准视频编解码算法提出了无I帧全P帧的低时延编解码算法以及与之相适应的码率控制算法，在实际高清视频编解码系统中对算法进行了验证，结果表明时延降低到60 ms左右，与标准算法相比得到了大大的降低，该算法对实时性要求很高的视频编解码系统有很大意义，同时新研究算法适合于当前主流的标准视频视频编解码算法：如H.264，H.265等。

Reference[1]周祥生.无人机测控与信息传输技术发展综述[J].无线电工程，2008，38（1）：30-33.[2]毕厚杰，王建.新一代视频压缩标准264_AVC[M].北京：人民邮电出版社，2009.[3] ITU-T Rec.H.264 and ISO/IEC 14496-10 （H.264/AVC）.JVT of ISO/IEC MPEG and ITU-T VCEG. Advanced Video Coding for Generic Audiovisual Services[R]，2003.[4] Sullivan G J，Ohm J R，Han W J， et al.Overview of the High Efficiency Video Coding （HEVC） Standard [J].IEEE Trans on Circuits Syst.Video Technol，2012，22（12）：1649-1668.[5]姚春蓮，阮秋琦，姜东，等.一种基于条带划分的低延迟帧内编码方法[J].计算机科学，2014，41（11）：187-191.[6]费伟，朱善安.低延时无线视频传输中的H.264码率控制算法[J].中国图象图形学报，2008，13（11）：2099-2105.[7] Kwon D K，Shen M Y，Kuo C C J.Rate Control for H.264 Video with Enhanced Rate and Distortion Models[J].Circuits and Systems for Video Technology，IEEE Transactions on， 2007，17（5）：517-529.计算机与网络2019年5期计算机与网络的其它文章统一思想科学谋划全力推进“数字云南”建设从“网上审批”到“取消核准”温州人行优化企业账户开户服务靶场实时数据处理综合弹道计算方法甘肃省卫健委：让群众少跑路让服务更亲民《2018年Q4中国电子商务用户体验与投诉监测报告》评析DustPhotonics宣布推出400Gbps QSFP-DD SR8收发模块  -全文完-。