尽可能下降视频码率又不影响视频的主观观看质量,这是视频平台最关心的问题之一,由于下降码率意味着视频播放带宽的降低,节约成本。html
2018年3月,又拍云自研的“窄带高清”功能,经过码率控制优化,让视频在主观质量不受影响的状况下,高效下降30%视频码率。窄带高清经过视频内容复杂度算法来肯定视频应用场景,继而肯定该场景下最优视频编码参数,辅助于码率控制算法,最终达到视频码率控制与带宽优化这个目的。算法
窄带高清能够有效提高视频播放平台终端用户视频打开速度,而且减小视频分发在带宽成本的上的消耗。ide
通常来讲,视频转码所需的成本比视频播放带宽少不少。所以经过视频转码来下降带宽成本成为可能,窄带高清就是创建在这个大前提下的一个功能。经过窄带高清功能能够节省30%的视频码率,大大下降直播、点播等业务场景下的带宽成本。测试
实现窄带高清有两个优化方向,1.在相同码率的状况下提高视频质量;2.在主观质量不受损失的状况下,尽量下降视频码率。优化
根据实际业务需求,又拍云的“窄带高清”功能采用了第二种思路,即保持视频质量,下降码率。动画
场景划分编码
首先咱们须要对视频进行内容复杂度分析,获取场景信息,取得视频空间域的复杂度和时间域的复杂度,而后得到视频序列最终的复杂度,最终肯定视频编码场景。spa
为何要进行场景划分呢?rest
下文咱们以场景运动剧烈和平缓的视频为例,跟你们解释一下场景划分的缘由。视频
从上图能够看出,在相同质量下,场景运动缓慢的视频比场景运动剧烈的视频,所需码率少不少,这就是场景划分的意义所在。
目前咱们对手机拍摄视频、动画、商业动做大片、影视剧、在线教育、综艺节目等视频场景进行测试,获取常见场景下视频内容的编码复杂度。
另外在高码率的时候,码率增长对视频质量的提高比较少,所以只要找到合适码率,那么视频低码率下的质量和高码率下的质量是相差无几的,这是窄带高清的理论基石。
码率控制算法研究
码率控制算法是视频编码器中很是重要的部分,学术上,码率控制算法分为两种:CBR(Constant Bit Rate,恒定码率)和VBR(Variable Bit Rate,可变码率)。考虑到业务需求是在主观质量不变的状况下,下降视频文件大小,又拍云“窄带高清”功能采用VBR的方式,并作了以下设定提高总体画质的表现:
通俗的说,把码率放在该用的地方,不浪费每个比特,实现更低的码率,更清晰的画质,更小的文件尺寸。
视频编码器优化
如何对视频编码器进行优化,又拍云经过客观质量评价加主观质量评价想结合的办法来制定视频编码器优化标准。
视频质量评价做为视频领域热门的研究方向之一,分红主观质量评价和客观质量评价两类。
主观质量评价,即经过人工观察者直接观察视频,在主观打分,对视频质量的好坏进行分级,该方法必须严格的测试环境实施步骤复杂,并且对观察者要有必定的专业要求,所以实施起来须要巨大的代价,通常会用在科研机构小规模的算法验证。
而对海量视频数据和工业界来讲,客观质量评价是更好的选择。PSNR(Peak Signal to Noise Ratio,峰值信噪比),是基于数学统计特性的评价方法,基于独立的像素差值,忽略序列内容对失真可见度的影响,于是会出现和主观感知的视频质量的一致性存在差别。可是算法简单,易于操做,且大规模应用。
针对PSNR的缺点,Zhou Wang等人实现了亮度、对比度和结构失真相互独立的质量评价方法SSIM,获得更接近人眼视觉特性的评价指标。可是依然是过于简单,屏蔽掉了HVS的其余生理特性。
视频编码器的参数数量不少,纷繁复杂,为了获得最佳的优化组合,咱们用了客观质量评价算法PSNR(Peak Signal to Noise Ratio,峰值信噪比)和SSIM(Structural SIMilarity,结构类似度),主观质量评价算法VMAF(Video Multi-Method Assessment Fusion),再配合人工主观质量评价的方式,获取了常见场景下视频编码器的参数优化方案。
又拍云窄带高清,融合了以上几种客观和主观的评价方法,在编码器优化过程当中,获取码率和视频质量的平衡。
目前,绝大多数视频仍是使用H.264/AVC视频编码标准,更先进的H.265/HEVC和VP9的普及度还不够。所以又拍云“窄带高清”功能优先支持了H.264视频编码格式,将来将支持H.265格式。
学术界还有许多码率方面的研究成果,好比基于ROI(Region of Interest,感兴趣区域)和HVS(Human Visual System,人眼视觉系统)的码率控制,这些成果和技术,又拍云也将积极融入到相关产品和解决方案中。
推荐阅读: