发布时间:03-13 / 2018 浏览:
当前位置:首页主页 > VR资讯 > VR观点 > Facebook推出360度视频传输质量评估标准:SSIM360和360QVM

Facebook推出360度视频传输质量评估标准:SSIM360和360QVM

新浪VR是专注于VR行业国内外资讯的门户媒体,每天会定时推送VR资讯,VR游戏评测,设备评测,开发者资讯等独家内容。

  Facebook一直致力于推动360度技术的发展,他们已经开拓了一系列的新概念,如偏移立方体贴图(offset cubemaps),动态流式传输(dynamic streaming)和基于内容的流式传输(content-dependent streaming)。对于每一项新技术,重要的是与原先方法比较沉浸式体验的质量,比如分辨率,位速度,或者结构相似性。一项可靠的质量评估工作流程能够为比较360度浏览会话提供一致的准,并且帮助我们衡量是否应该在生态系统中采用新的360度技术。

  遗憾的是,业内尚未出现普遍认可的360度内容QA准,而针对传统非360度媒介的现有QA工作流程无法捕捉360度视频的相关属性:沉浸感和观影控制。360度视频的每一帧都压缩了一个全方向的球形场景,而这在编码水平上需要将其翘曲成矩形帧。这种翘曲操作影响了传统的逐帧图像QA,并且令结果变得相当不可靠。另外,用户在360度视频播放期间可以控制任意时刻的观影方向,这意味着最终的视图质量取决于用户视场的帧区域,而非整体的球形帧。

  Facebook为需要应对翘曲和视场问题的360度视频传输开发了一种新QA工作流程,并向我们介绍了两种新标准:SSIM360和360QVM。这两个标准在单个编码和播放组件的质量上,以及传输会话的整体质量上分别提供了量化的指标。Facebook指出,随着新功能的推出,这可以支持他们理解360度管道中每一个组件的性能表现,并且追踪编码效率和播放质量上的增益。下面,映维网将向大家介绍Facebook的QA工作流程,并希望这可以促进更广泛的360度内容开发者社区量化和分享他们的开发,从而创建更具沉浸感的体验。

  1。 编码质量评估

  1.1 对传统非360度SSIM的简单介绍

  结构相似性指标(Structural Similarity Index,SSIM)是广泛用于评估图像和视频编码的QA指标。全参考QA采用两幅输入图像:参考图像(如原始内容)和变化图像(如编码内容),并且输出0和1之间的分数。分数代表两幅图像的结构相似性:1分表示图像相同,因此质量保存良好;;0意味着两者完全不同,这意味着严重的结构变形。当SSIM用于视频QA时,评估是逐帧完成的,而且仅在两个输入视频的长度和帧速率完全相同时才起作用。

Facebook推出360度视频传输质量评估标准:SSIM360和360QVM

  跟大部分的图像处理算法类似,SSIM不会一次性测量整幅图像。相反,它从两个输入图像中采样较小的区域(类似于图像压缩中的宏块)并比较样本。在最初的论文中,作者提出了一个用于这一采样的11×11高斯内核,而ffmpeg的vf_ssim滤波器使用了一个统一的8×8方块(如上图所示)。我们从每个样本中获取一个SSIM值。为了获取每幅图像的SSIM,我们计算每个样本的SSIM平均数。为了获取整个视频的SSIM,我们进一步平均计算所有帧的每图像SSIM。

  1.2 翘曲问题

  SSIM中的采样区域是静态的(即相同的大小,相同的形状),并且在最终的平均计算中具有相同的权重。例如在上面的ffmpeg实现中,不管位置如何,图像中每一个8×8区域对最终的SSIM分数都具有同样的影响力。但360度媒介并非如此。

Facebook推出360度视频传输质量评估标准:SSIM360和360QVM

  请比较上面的两张世界地图。左边地图的编码器会降低画面下部的质量(南极洲);而右边地图的编码器只是左边编码地图的重定向版本。当渲染至3D球体时,这两张地图应该看起来完全一样(除了方向),所以它们从360度内容QA中得到的分数也应该是相同。但是,如果我们使用SSIM作为我们的QA标准,则左边地图分数会较低。原因是由于等量矩形中靠近垂直中心的翘曲较少,所以右边地图“糟糕质量”部分(南极洲)所占的比例较小。在SSIM的8×8取样方块中(在两个地图上呈现为红色放宽),左边地图中南极洲占据的区域被采样23次,而右边地图只有12次,所以这导致了不同的平均SSIM分数。这表明非360度SSIM过程并不可靠,因为相同的360度内容却输出了不同的值。

  1.3 快照

  一种防止翘曲影响的方法是,直接对360度球体中的渲染视图进行取样,而非采用等量矩形的渲染视图。我们从360度球体中的所有可能视角方向获取无限数量的方形快照。这种样本是平坦图像,同时进行了加权平均,所以翘曲问题将不复存在,而且SSIM将是一个有效的QA。

Facebook推出360度视频传输质量评估标准:SSIM360和360QVM

  为了防止翘曲,在馈送至非360 SSIM之前先获取平面图像的快照(V1,…,Vn)。 最终的“Snapshot SSIM”分数将通过汇总所有的每快照SSIM分数进行计算。

  虽然可靠,但这种方法的计算复杂性使其成为不可行的360度图像QA解决方案。使用我们的Transform360库来从给定视图中获取单个快照并不是一件简单的事情,更不用说获取无限数量的快照并且逐个运行SSIM。但是,我们可以使用汇总的快照分数作为验证我们新SSIM360标准的基础事实。

  1.4 SSIM360

  另一种解决翘曲问题的方法是,在计算平均值时为每样本SSIM得分加权。加权取决于采样区域在影像中的拉伸程度:拉伸越多,加权越小。这可以通过“样本覆盖的渲染球体比例”和“样本覆盖的帧比例”的比例进行计算。每个样本对最终分数的贡献不同,所以能有效地消除翘曲影响。原始SSIM的加权平均版本称为SSIM360。

  为了验证SSIM360的结果,我们将其与Snapshot SSIM进行比较。我们针对不同的纹理和动态特征的360视频,以及不同的编解码器,缩放和质量保存目标进行了验证实验。然后通过1)SSIM,2)SSIM360和3)Snapshot SSIM评估这些降级测试用例。

  上图中是SSIM360和SSIM的累积分布函数(CDF),而我们可以看到SSIM360几乎能在所有的百分比中把错误减少约50%。错误定义为Snapshot SSIM分数与每个QA(SSIM360,SSIM)输出分数之间的绝对差异。从计算角度而言,由于SSIM360只是通过可预先计算的权重图来替换每样本SSIM聚合中的统一加权,因此SSIM360与传统SSIM一样有效。

  2。 播放质量评估

  2.1 视场问题

------分隔线----------------------------