一、H.265/HEVC的技术创新
H.265/HEVC(High Efficiency Video Coding)是H.264/MPEG-4AVC(Advance Video Coding)标准的继任者。和H.264/MPEG-4AVC一样,由ISO/IECMPEG(Moving Picture Experts Group)和ITU-TVCEG(Video Coding Experts Group)联合开发,在ISO/IEC中的名称为ISO/IEC23008-1MPEG-Hpart2,在ITU-T中的名称为ITU-TH.265。H.265/MPEG-HHEVC第一版首先由ITU-T于2013年4月13日接受为正式国际标准。
H.265/HEVC于2010年启动项目(CfP,Callfor Proposals),基于H.264的KTA(keytechnologyarea)版本基础上开始研发。从CfP起始,浙江宇视科技有限公司就密切跟进H.265/HEVC的实时进展,详细分析每次会议的输入输出文档,评估其在视频编解码领域产生的影响。
值得注意的是,H.265/MPEG-HHEVC、H.264/MPEG-4AVC、H.262/MPEG-2video均是两个国际视频编解码标准化组织合作的产物,它们不同于企业推动成为国际标准的(微软的)VC-1,或者企业标准的(谷歌的)VP9,也不同于国家标准AVS和SVAC。H.264/AVC和H.262/MPEG-2video在国际范围内的成功应用经验,以及两个国际标准化组织的影响力,可以预见H.265/HEVC在未来成功的可能性。
H.265/HEVC标准的目标是,相比H.264/AVCHP(HighProfile)的图像质量,码率降低50%,同时计算复杂度相比H.264/AVCHP增加2-10倍。现在看来编码效率和编码性能上目标已经达到,如表1所示。但H.265/HEVC的算法复杂度的确增加到H.264/AVCHP至少三倍左右,这使得在现有DSP或SOC平台上实现H.265的编解码器异常困难。
H.265/HEVC的推出源自超高清[2]的创新。超高清包括超高清电视(UHDTV,UltraHighDefinitionTelevision)和超高清视频(UHDV,UltraHighDefinitionVideo),包括4KUHD和8KUHD两种格式,如图1所示,其中4KUHD图像分辨率为2160p,即3840x2160逐行扫描,8KUHD图像分辨率为4320p,即7680x4320逐行扫描。他们和全高清1080p保持同样的16:9宽高比。
4KUHD分辨率是FHD的4倍,8HUHD分辨率是FHD的16倍,图像分辨率使得在相同单位面积的物理场景可以生成更多的像素点数,H.264/AVC的基本处理单元宏块(尺寸为16x16)不再适合更广的平坦区域,若再使用16x16基本处理单元编码,会产生较多语法元素来传递本身较少纹理信息,不利用提高压缩效率。超高清要求必须使用更大尺寸的基本处理单元对更广平坦区域进行编码,故H.265/HEVC采用64x64的最大处理单元编码。同时支持帧内/帧间预测时更多模式预测单元分割,变换编码也支持更多模式分割,以尽可能支持图像中的各种纹理模式。
超高清另一个提高就是颜色空间的扩展,如图2所示。超高清相比全高清可以表示更丰富的颜色信息。但是要注意的是,要携带更多颜色信息,像位宽度(即每个像素点每个颜色分量的比特数)再用8比特表示已经不够,必须扩充到10比特、12比特甚至16比特。为适应高位宽,前端成像采集单元、中间的编解码单元、后端显示单元都要相应扩展,方才显示出颜色空间扩展带来丰富的颜色信息。若中间某个环节仍采用原来的8比特处理(比如8比特进行采集、或8比特编解码、或者8比特显示),就达不到颜色空间扩展的目的,那是一种“伪”超高清。
为适应这种高位宽颜色采样,H.265/HEVC也做了相应改进,编解码器内部各个算法单元进行计算位宽扩展,比如原来用8比特数据类型的计算的模块都要扩展为16比特位宽数据类型、甚至32位字宽数据类型进行计算。如此以来H.265/HEVC内部的计算单元将要消耗更多的内存,这对ASIC或者SOC设计方案带来极大难度。
H.265/HEVC的第一版框架(version1profile)中仅有三种框架:Mainprofile、Main10profile、Mainstillpictureprofile。
第二版本框架(version2profile)又增加了多种框架模式,其中面向灰度图编码的有:Monochromeprofile、Monochrome12profile、Monochrome16profile。主框架色度格式扩展:Main12profile、Main4:2:210profile、Main4:2:212profile、Main4:4:4profile、Main4:4:410profile、Main4:4:412profile。全I帧模式:Main4:4:416Intraprofile、HighThroughput4:4:416Intraprofile。面向图片编码的模式:Main4:4:4StillPictureprofile、Main4:4:416StillPictureprofile。伸缩编码(SVC:ScalableVideoCoding)模式:ScalableMainprofile、ScalableMain10profile。多目编码(MVC,MultiviewVideoCoding)模式:MultiviewMainprofile。
尤其要注意的是H.265/HEVC相比H.264/AVC,提升了图片框架能力,这意味着将来在前段IPC中不再需要JPEG或者JPEG2000编码器,只需要一个H.265/HEVC编码器就既可以输出图片,也可以输出视频,尤其是输出的图片信息比视频信息更丰富。或者输出两种框架的视频流,一种是低位宽的,一种是高位宽的。
H.265/HEVC还有特点是并行化处理能力,对超高清大分辨率数据,单颗处理器芯片已经无法达到实时编解码能力,同时现在的编解码实现平台都是多核架构。但H.264/AVC也仅有条带(slice)编码工具达到并行能力,H.265/HEVC在设计之初,就充分考虑并行,在内部许多计算模块内部和模块之间打破串行结构,实现并行流水式架构算法:比如在条带编码工具的基础上引入瓦片(Tile)编码的概念;对熵编解码算法重新设计,打破上下相邻两个编码单元行首尾依赖关系,使得码表在每个编码单元行起始处初始化,以达到得多个编码单元行并行处理。
二、H.265/HEVC对安防行业发展的影响
现在4K超高清应用已经应用到安防行业,类似于当年H.264/AVC,H.265/HEVC也会逐渐应用到安防行业,但这需要各个配套环节成熟起来。
参考当年H.264/AVC的普及过程,H.264/AVC于2003年正式颁布为国际标准时,在接下来的2到5年时间里,很多人用各种DSP去实现编解码器,比如ADI的blackfin561、TI的DM642。当时这些DSP内部都没有硬件加速器,只是一核或两核通用DSP,只能软件优化实现。再后来,TI推出达芬奇系列SOC,此时芯片带有几个硬件加速器和多个处理核,在上面开发H.264/AVC编解码器时,软件优化同时调用加速器提升效率,同时芯片的处理能力提升很多。同时国内的海思也推出编解码器ASIC化的SOC方案,安霸也推出类似SOC方案。再后来TI推出Netra系列芯片,在SOC上嵌入更多加速器,编解码能力大幅提升,此时的编解码器设计变得异常简单,只需调用厂商提供的接口调用硬件编解码器即可。
现阶段,IPC、DVR、NVR中的H.264/AVC编解码器都是用加速器和ASIC实现的,已经没有软件优化的实现模式了。
反观H.265/HEVC现在情况,鉴于其复杂度和主要编码对象大分辨率的情况,再在通用多核DSP平台上实现软件优化已经不可能,只能由芯片厂家用ASIC或加速器方案实现。但是芯片设计周期通常很长,尤其是经过几代芯片才会稳定下来,现在H.265/HEVC标准颁布才有一年多时间,所以芯片厂家成熟方案推出还为时过早。
同时在超高清采集成像、显示部分上下游环节也还没有完全大量应用。相信在未来几年里,H.265/HEVC编解码芯片推出后,将和4K超高清应用变成相互促进的过程,共同走向普及。但在标清和部分全高清应用,仍会使用H.264/AVC编解码方案。
H.265/HEVC产品化后,对安防各个行业架构都会产生影响。不仅仅是简单的视频编码器由H.264/AVC替换为H.265/HEVC,对前端成像采集、平台架构、存储、后端显示、都有明显的影响。浙江宇视科技有限公司从很早之前就已经在各个环节做好充分准备,已经推出了4KUHDV的IPC,型号为HIC5681-L。已经在镜头设计、ISP成像处理、网络传输、平台架构、矩阵存储等各个方面做好充足准备。
三、H.265的市场推广及应用情况
采用SOC芯片模式的H.265/HEVC实现方案的主导权掌握在芯片厂家手里,同时基于IntelGPU架构的实现模式,也要等待Intel的GPU解码ASIC推出。基于IntelCPU架构的实现边解码器的,仍然需要汇编优化实现,比如解码控件、转码器。浙江宇视科技有限公司已经在这方面做了大量投入,从熟悉H.265/HEVC算法模块、码流格式入手,深入实现CPU优化版本的编解码器。
如同H.264/AVC对标清和全高清的影响一样,可以预见在不远的将来,H.265/HEVC必将在全高清和超高清领域产生深远的影响。
微信扫描二维码,关注公众号。