最近读了两篇关于Volumetric Video的文章,都是发表在Mobicom 2020的,老板说这是一个promising的方向,感觉Volumetric Video还是有点牛逼的,比现在在做的360度视频又多了三个DoF(Degree-of-Freedom)。
普通视频:你没法控制,给你放啥就看啥。
360度视频:三个自由度旋转(yaw, pitch, roll),人不动,头360度旋转。
volumetric视频(立体视频):再增加三个自由度(X, Y, Z),可以在场景中自由走动,头自由旋转。TED的介绍
最主要的一个区别是表示方式的不同。
普通视频和360度视频:像素点。像素点越多,视频越大,越清晰。
立体视频:用Point Cloud表示,分布在3维空间。密度越大,视频越大,越清晰。
假设一个3D点是15bytes,一帧有200K个点,帧率为30FPS,那么stream这个视频需要的带宽为:
15 × 200 K × 20 × 8 = 720 M b p s 。 15\times 200K \times 20 \times 8=720Mbps。 15×200K×20×8=720Mbps。
因此,需要优化带宽。
360度视频:viewport-adaptation。分割出tile。为不同的tile分配不同的码率。
立体视频:分割出3D cells。为不同的cell分配不同的码率。
全文的核心在这种图上,分别为:
VV:跟360度视频一样,用户只能看到一部分区域,所以看不到的我们可以不要下载。
OV:后面的cell可能会被前面的cell遮挡,所以可以稍微降低密度。
DV:离得近的物体,需要清晰点,密度高;离得远的则相反。
本文要解决的问题有:
立体视频的编码/解码:测量压缩效率如何、分割出cell会给编解码造成多大影响。
用户行为预测:六个维度的预测。
优化:依据三个点分配point density level。
系统设计。
作者自己采集了一个数据集。P1-P3分别有1-3个人在谈话,M2-M4有2和4个人在表演。每个视频由32个人观看。
从左到右依次为:id,每帧有多少个点,有多少帧,里面有多少个人,探索空间有多大,码率。
作者对三种已有的不同编码方式进行测量。可以看到,Draco的压缩比最高。可以看到,每帧的点越少,压缩比越高。E和D分别为编码和解码的时间。
利用并行解码进行加速,可以看到,用SGS8时,帧率由10fps提升到40fps。
切分:为了后面的优化,需要把一整块大的空间分割成多块3D cells。但是分割会降低编码的效率,使得视频大小增大。
作者测量了三种方案 25 × 25 × 25 c m 3 25 \times 25 \times 25 cm^{3} 25×25×25cm3, 50 × 50 × 50 c m 3 50 \times 50 \times 50 cm^{3} 50×50×50cm3, 100 × 100 × 100 c m 3 100 \times 100 \times 100 cm^{3} 100×100×100cm3。指标:分割后encoding后的大小/原始视频encoding后的大小。
可以看到,分割后对视频大小的影响是可以接受的。作者最后采用了100的大小。
设置:
测量结论:
预测:
结果:
任务:为每个cell分配point density level(PDL),PDL越大,则视频越清晰。适当降低某些cell的PDL,节约带宽。
依据:Distance Visibility (DV), Viewport Visibility (VV)和Occlusion Visibility (OV)。
PDL有5档:20%, 40%, 60%, 80%和100%。(类似码率),用 D ( c ) D(c) D(c)表示对应的档次。
距离:由用户的距离确定PDL,即 D ( c ) D(c) D(c)
任务:找到用户和cell的距离 d d d与PDL的对应关系。
距离:由viewport确定PDL,即 D ( c ) D(c) D(c)。
过程:
ps:这里具体如何计算视锥好像没细说;以及为什么是垂直角度也不清楚。不过这种向外清晰度依次降低的思想还是可以理解的。
作者提出一个变量,遮挡系数 O ( c ) O(c) O(c), O ( c ) O(c) O(c)越大,越有可能被其他cell遮挡。
求解 O ( c ) O(c) O(c):
则 O ( c ) O(c) O(c)正比于 R ( c ) R(c) R(c)和 S ( c ) S(c) S(c)。也就是它前面的cell越多,其他cell的密度越大,越可能被遮挡。
从而, D ( c ) = m a x { D ( c ) − O ( c ) , 0 } D(c)=max\{ D(c)-O(c),0\} D(c)=max{D(c)−O(c),0}。
以上就是三种优化方案,还是有点启发式设计。
Rate adaptation:如果分配的PDLs不满足预测的带宽,则会从整体上降低总的PDLs。 (这里没有细讲)
实现:客户端:安卓;服务器:Linux。
性能:主要从节省的带宽和比较高的视频质量两方面论述。
GROOT主要是优化视频的传输格式、编解码、PDL来提升。
将点云通过表面的法线信息分解成多块,并通过dense packing的方法投影到二维矩阵。
传输的图像共包含三个信息:(1)灰度图表示深度信息;(2)颜色信息;(3)是否是有效的point。
缺点:
更多的是采用这种树形结构存储。
从整个空间开始,依次分割成8块,编码0-7,包含内容的标为1。再选取非空的继续分割。最终得到一棵树。
这样的话,下面的必须等上面的解码完才能开始,导致无法并行化,因此效率较低。如上所示,帧率均低于30fps。
缺点:
编码颜色信息:
编码颜色文件时,将颜色值保存成2D的图像文件并使用JPEG压缩。挑战:3D点应该放置在2D图像的什么位置。
采用Morton Order压缩算法使得相邻点的颜色比较接近。
同时,对 D b D_b Db层的同一个子树下的的结点重排序,使得颜色相近的结点相邻,提高压缩性能。
把用户视野外的点移除。
距离较远的点则降低清晰度。
实现:客户端:ios,服务器:Linux。 性能:压缩大小、帧率、延时。