subjective panoramic video quality assessment database for coding applications
IEEE TRANSACTIONS ON BROADCASTING, JUNE 2018
abstract:
随着虚拟现实技术的发展，需要更高质量的全景视频来保证沉浸式的观看体验。因此，质量评价对于相关技术非常重要。考虑到投影时的几何变化以及头戴式设备（HMD）分辨率的限制，我们提出了一个针对主观测试的高质量序列的播放策略，即基于屏幕和人眼之间几何约束找出最佳播放分辨率。通过在编码之前，将序列采样到最佳分辨率，我们提出的方法可以减轻播放时HMD采样的干扰，进而保证了对视频编码的主观评价的可靠性。使用提出的播放测量，我们建立了针对编码应用的全景视频主观评价数据库。数据库包含50个失真序列，这些序列由10个原始全景序列生成。失真类型是HEVC压缩。每一个序列都有30个受试者进行评价，遵循隐藏参考序列的绝对类别评级方法。数据库中包含等级评分以及DMOS值。然后在提出的数据库上进一步进行近期客观质量评价方法的相关性分析。数据库中包含视频序列，主观评级分数，DMOS，可用于促进未来的编码应用研究。
Ⅰ introduction
VR吸引了大量的关注，并且研究人员进行了许多相关研究。通过头戴式设备（HMD）播放全景或者立体视频，可以为用户提供一个沉浸式的环境。全景视频是VR一个非常重要的基础媒体内容，可以为观察者提供360°的自由视角，与传统的在屏幕上播放的2D视频非常不同。
沉浸式场景的建立需要更高质量的全景序列，以及对全景视频更快的传输。 然而，在到达观察者之前，视频的压缩会带来失真。质量退化可能对体验质量(QoE)有很大影响。因此全景视频的质量评价对于未来VR以及相关技术的发展至关重要。
客观和主观方法都用于质量评估。 客观方法使用数学模型评估视频质量，数学模型可以在没有太多人为参与的情况下自动进行。 有了这个优势，客观的质量评估已得到很好的调查[。 还有一些客观的质量评估方法已被应用于评估受损全景视频的质量。 例如，在[10]中提出了基于球的峰值信噪比（S-PSNR）方法，该方法被广泛用于质量评估。 S-PSNR通过在球体上而不是在映射平面上利用均匀采样点计算PSNR来估计所有观察方向上的平均质量。 另外，对于头部运动数据的统计结果，进一步提出了纬度加权的S-PSNR，其具有在球体的相应纬度上的相对观察频率，以更好地接近视口的质量。
不考虑客观模型的便利性，主观评价方法是最直接并且最可靠的方法来知道观察者对视频质量的感受。因此，主观质量评估的发展对于评估视频质量和对客观模型的性能进行基准测试非常必要。ITU，VQEG 组织针对图像和视频推荐各种主观评估测试计划，以评估多媒体处理系统的不同方面。给出了不同的测试目标和要评估的目标时，评估测量是明显不同的。
在这个环境下，针对不同的应用场合大量的主观实验被提出，比如LIVE视频质量评价数据库，Lutz Goldmann等人为3D视频的QoE工作，3D视频数据库NAMA3DS1-COSPAD1，无线网络中移动视频的LIVE移动视频质量数据库，Jooyoung Lee等人在混合分辨率立体视频广播服务方面的工作。
但是近期全景视频的主观数据库数量却很少。由于其独特的性质，以及作为新媒体的内容，全景视频需要特定的主观质量评价数据库来分析清楚观察者感受到的质量，这也推动着QoE和编码系统的提升。
此外，在主观质量评估期间，不会给测试视频带来额外伪影的理想回放系统是必不可少的。在自然视频质量评价中，带有编码伪影的测试序列通常按照每像素的原则播放，这样可以避免其他质量改变。因此，我们也尝试对全景视频保证每像素的表示。然而据我们所知，视野（FoV）以及HMD频率的分辨率是有限的，但是全景视频通常具有很高的分辨率。以HTC VIVE为例，FoV为110°，8K视频的水平播放分辨率大概为2503，然而屏幕的水平分辨率只达到1080。这种不匹配不可避免地导致视频的采样，隐藏或放大要在主观质量评估中评估的编码伪像。例如，如果视频被下采样，则可能无法感知来自压缩的块效应伪像，并且如果进行上采样，则伪像将相反地更加明显。
因此，干扰会误导视频质量的感知。由于全景视频的主观质量评估是一个新兴的话题，因此很少有关于如何确保全景视频的逐像素显示的现有研究。目前，现有研究直接应用HMD进行主观实验，忽略了复杂光学系统和投影在压缩和显示时所带来的影响，不符合主观质量评估的要求，需要进一步讨论。
针对上述所有问题，本文建立了编码条件下全景视频的主观质量数据库。在主观测试期间，提出了在编码之前将视频重新采样到最佳分辨率的想法，并且我们认为能够减轻HMD显示器对主观评估的干扰。主观质量评估测试基于具有编码失真的60个高分辨率全景视频进行。使用具有隐藏参考的绝对类别评级（ACR-HR）方法。 30名受试者参与对视频质量的评级测试。 此外，还使用建议的数据库评估现有客观质量评估方法的性能。
本文的其余部分安排如下。 第二节介绍了一些有关质量评估的相关工作。 第三节讨论了全景视频显示的采样问题和主观质量评估的最佳显示协议。 第四节描述了建立主观质量数据库的过程。 第五节讨论了主观质量评级数据的处理，并对数据库进行了总结。 第六节显示了基于数据库的一些现有客观质量评估模型的性能评估。 第七节对该论文作出结论。
Ⅱ related work
考虑到图像和视频应用中主观质量评估的重要性，已经有各种方法获得主观质量意见和建立用于不同目的的数据库。 在本节中，回顾了主观评分测试的策略，现有的主观质量数据库和主观测试期间序列表示的问题。
A. protocols for subjective quality assessment
视频的主观质量评价的测量已经被研究的很多了。评估可以分成两种类型，单激励（SS）和双激励（DS）。不同的方法可以根据测试的目的来选择。在这个部分，介绍了一些具有代表性的方法，在相关建议和报告中也可以找到更多评价方法的可能性。
当测试的目的在于发现视频的绝对质量时，可以使用单激励（SS）方法，这种方法每次为受试者独立地播放一个序列。其中一个具有代表性的方法是单激励连续质量评价（SSCQE），它通过允许主体动态评估质量来处理编码视频的时变质量。与SSCQE相比，绝对分类评级（ACR）方法更容易实现并且适用于资格测试，因为它的表示协议类似于系统的常见用途。
拥有ACR的优势，ACR-HR方法高效且简单，显示出额外的优势。虽然一次一个地显示序列，但是通过在评级过程中包括所有参考视频而没有任何特殊标识，可以消除场景内容和参考质量的偏差。通过对测试序列和参考序列独立评级，可以通过计算评级分数之间的差异来确定相对于参考视频的质量，从而避免视频内容的影响。
双激励（DS）方法同时播放两个序列或者连续播放两个序列，受试者可以直接判断两个序列的质量和保真度的差距。为了评估系统的保真度，连续双激励持续评估（SDSCE）在SSCQE的基础上被提出。测试序列旁边展示参考序列，受试者可以根据参考序列来对测试序列进行保真度的评级。退化分类评级（DCR）方法，用来失真评估，即受试者是否能够以及在何种程度上感知损伤。
B. subjective quality assessment
技术的发展为我们带了很多类型的多媒体内容。基于上述的主观研究，为了不同的内容和应用场合建立了主观评价数据库。
LIVE 视频数据库是使用最广泛的2D视频主观数据库。它评估代表性的视频压缩和通信技术的效果。总共有38个人参与了评估。使用了SSCQE方法，记录了DMOS分数。随着多媒体技术进步以及用户需求的增长，视频的分辨率飞速提高，立体视频的编码，传输和传播也迅速繁荣， 高分辨率的视频或者3D视频的主观感知研究也在进行。除了视频质量，也对QoE投入了许多精力，这些研究的目的都在于研究和提高2D，3D视频的体验质量。关于图像质量评估，还有许多针对各种应用和图像类型的目标数据库，如图像重定向质量，全参考图像质量，屏幕内容图像质量等。
全景视频的主观评价方法，目前已经引起了热点的讨论，主要集中在基于视口的评价方法，它根据视口将全景视频分成几个部分，并在屏幕上逐步显示，如2D视频评估那样。例如，在[29]中，建议将四个视口选择策略组合在一起，以便在不同投影格式下对视频质量进行主观比较。在[30]中进行了基于该策略的主观试验研究，以观察不连续边缘对投影的影响。使用从解码比特流渲染的动态视口进行测试，并在液晶电视监视器上显示。此外，由于360°视频的视口的视野与2D标准动态范围（SDR）内容不同，因此在[31]中也提出了基于视口的主观评估的最佳观看距离。
虽然易于操作，但基于视口的方法忽略了全景视频的一些基本特征，这使得这些方法反映主观感知变得不可靠。与这些方法不同，我们建议允许主体使用HMD观看视频，确保紧凑和真实的视图体验。
C. display protocol of panoramic sequences with VR HMDs
对于主观评价来说，对测试序列的合适播放是评估结果可靠必不可少的。如果通过前面提到的呈现方法对序列引入了意想不到的质量变化，则主观评级将受到干扰。因此，假设视频以每像素方式呈现而没有任何采样，来保证除了要评估的编码损伤之外的最小质量变化。2D视频评价时，如果视频的分辨率比屏幕小可以给视频加上黑色方块，如果分辨率高于屏幕，那么可以将视频分成不同的部分，独立播放。但是全景视频必须在一个完整的评估上播放，以保证沉浸式体验。因此，通过HMD来播放全景视频必须要进行采样。那么如果实现逐像素的播放，就成为了全景视频质量评价的终极问题之一。
最先进的研究如[9]，[32]和[33]所述，直接用HMD显示全景视频，而没有提及视频的采样和渲染，因此很难确定从实验中获得的评级数据有效性 。
Ⅲ rendering and display of panoramic sequences for subjective quality assessment
A. display of panoramic videos with HMDs
全景视频是虚拟现实中最重要的媒体内容之一，它指的是包含所有方向连续内容的视频。 通常，基于某些几何约束分别捕获不同方向上的场景并缝合在一起以形成全景场景。 为了向观众呈现360°场景，假设人头部位于中心并使用HMD中的平面屏幕显示视频，使用一组镜头恢复捕获的场景的几何结构。
考虑到传输和设备的局限性，在展示给观察者前全景视频需要被压缩，这就是促进主观质量评价的主要动力。如图1所示，由于现存的编码系统不能直接用于球体格式的视频，因此全景视频首先要依据确定的几何变换规则映射到平面，比如说ERP,CMP，ISP。压缩平面视频将再次以上述方式呈现为球体，同时向观看者显示。
B. problem on subjective quality assessment of panoramic videos
为了保持沉浸式特征并保证对全景视频质量的精确感知，主观质量评估应该使用虚拟现实的头戴式设备而不是平面屏幕监视器进行。沉浸式需要虚拟内容可以填满HMD的整个视野。图2展示了在自然条件和虚拟现实条件下的视野。为了给观察者带来沉浸式的体验，HMD的视野αL’和αR’需要保持固定并与人眼的视野一致（即αL和αR）。否则，观看体验就会和自然观看条件不同，甚至会给观察者带来不适感。与2D视频的显示不同，2D视频可以在屏幕上以逐像素的方式呈现，具有固定的尺寸，通过向低分辨率视频添加黑色像素或仅显示高分辨率内容的一部分，尽管分辨率不同，但全景视频必须完整呈现。因此，视野的固定，平面和球面之间的转化，全景视频的混合分辨率，这些因素一起倒置了上述的采样问题。对于HMD的相同可见范围，不同分辨率的视频必须上升或下采样到可变范围。就如图3所示的，全景的采样点数量是分辨率降到一半时采样点数量的两倍。显然，HMD的采样可能会影响到编码失真的可见性。例如，HMD的下采样可能会导致人们感受不到块伪影，这就会影响主观质量感知，最后会对该序列打出过高的等级。
C. the optimal display resolution for subjective quality assessment
基于上述分析，我们可以发现，在主观质量评价测试中，测试序列不可以被直接压缩，并且不能直接用HMD进行播放，这样才能避免由采样引起的不必要的质量变化。采样问题的重叠将在压缩方面干扰受试者对视频质量的意见。因此，忽略原始全景视频的分辨率的不同，他们首先都应该被才演到一个均匀并且合适的分辨率以适应具体的头戴式设备，这样就会保证播放时引发最小的质量改变。然后这个经过最佳采样的视频可以被发送给编码系统产生测试序列。因此，我们可以采取以下措施来解决主观评级实验中的采样问题，即为实验中使用的HMD确定最佳显示分辨率，以保证在向观众呈现时最小的采样失真。
虚拟球面赤道的几何关系在fig4中给出，红点表示屏幕上的像素点，△x表示相邻像素点之间的连续间隔。连接左眼与像素点的这些线与赤道的交点是一系列采样点，这些采样点最后会被投影到屏幕的整像素位置。假设屏幕的最左端为(x0,y0)，左眼的位置为（xl,yl），那么这些线的方程可以表示为：
X，Y分辨表示交点的坐标，XY有下列关系：
r表示球的半径，根据实验所用的HMD设置为12.915。垂直坐标大于零的点被确定为赤道上的采样点的位置。
在获得采样点的坐标之后，利用半径和水平坐标Xn计算穿过零点和第n个采样点的线之间的角度：
那么相邻采样点之间的角度差△α为：
fig5 给出了在屏幕上△α的分布情况，从这张图我们可以看出球上的采样点不是均匀的映射到屏幕上的。越接近屏幕边缘相邻点之间的角度在减小，就会导致拉伸。如fig6中所示，这说明采样将会不可避免的引入干扰。在这种环境下，我们视图保证中心视口一个最大的区域可以不经过采样被播放，观察者的视线容易停留在中心，因此最佳的水平分辨率定义为：
注意，透镜的几何形状没有引入到推导过程中。如图7所示，在镜头的帮助下使用较小的屏幕可以实现更大的FoV，这显着地减小了HMD的尺寸。虽然镜头还会带来几何和颜色偏差，但渲染系统会对它们进行校正，从而在进入镜头之前呈现出一致的场景。因此，我们不会额外考虑镜头的几何形状，相反，镜头和屏幕整体上具有相同的几何关系。由于几何约束在不同的HMD内变化，因此应相应地计算特定的最佳显示分辨率。 HTC VIVE用于我们的主观质量评估实验。根据所提出的方法，根据特定的几何约束，3600×1800被计算为HTC VIVE的最佳分辨率，这可以保证每只眼睛在中心处的每像素显示范围最大超过20个像素。
Ⅳ subjective quality assessment for panoramic videos
除了上述序列的呈现问题之外，在主观视频质量评估测试期间，在许多方面与自然平面视频的呈现问题也存在显着差异。首先，评级测试期间的观看体验完全不同。一方面，大多数受试者都不熟悉全景视频，强调在正式测试之前进行详细培训的重要性。另一方面，由于开发技术的限制，与2D视频质量评估相比，使用HMD的VR观看容易导致观看不适并因此极大地限制了测试持续时间。此外，由于全景视频的内容存在于每个方向上并且用VR HMD作为虚拟球体观看，因此在进行测试时考虑对象的观看一致性是必要的。
自然和全景视频质量评估之间的这些差异构成了我们工作的重要动力。为了评估全景视频的质量，将进行有针对性的主观质量评估测试。本节描述了建立全景视频主观质量数据库的过程。
A. references and test sequences
如fig8 和表1所示，JVET发布的10个全景测试序列被用来仿我们这次实验的参考序列。所有的序列都是以ERP格式存储，时长为10s。
fig9给出了测试序列生成的步骤。由于这次评价的主要目的是为了评价不同压缩是真瞎的质量，因此，在编码之前对视频进行采样可以避免由HMD引起的额外的质量变化。因此，这些序列首先被下采样到3600*1800，在第三部分中使用Lanczos采样方法在360-Lib软件中实现。然后将编码损伤引入最佳采样后的参考序列以获得重建ERP的测试序列。使用高效率视频编码（HEVC）参考软件（HM版本16.14）使用360-Lib 压缩参考序列，其中5个量化参数值在常见测试条件下指定，即22, 27,32,37,42，以获得跨越相对宽范围质量的序列，有利于未来的评估和比较。在测试期间，使用随机访问（RA）配置，并根据360Lib指定IntraPeriod参数，32表示30fps，64表示60fps。由于HMD不支持10位视频显示，因此使用360-Lib软件将10位序列转换为8位。
在处理之后，可以从每个参考序列获得5个测试序列，其在图9中作为recERP文件呈现。与10个参考序列一起，为实验准备了一组60个不同但相对稳定的质量水平的序列（例如参见图10）。
B. subjects
招募30名非专家受试者参与评估实验。 受试者为本科生和研究生，年龄从20岁到26岁，其中男性17人，女性13人。 这些科目都没有进行过质量评估相关工作，也没有涉及实验的设计或进一步分析。
所有受试者均具有正常或矫正至正常的视力，包括远视力，近视力和色觉。 由于VR观看很容易使人疲劳，因此VR HMD患者严重不能参加评估。
C. experimental setup
使用HTC VIVE显示全景视频。 由于第III节中提到的几何特性，原始测试视频首先采样到HTC VIVE的最佳分辨率，以确保最大化的逐像素显示范围。 采样后的视频作为参考，所有需要被评估的损伤将在采样后引入。
由于全景视频在VR HMD中是以球形格式播放的，所以全景内容在各个方向上都存在，这就引发了一个问题，是否所有的主题看到的内容都是一致的。为了解决这个问题，有些研究人员将全景视频分成不同的区域，逐步评估每个区域。这种解决方案在某种程度上忽略了全景视频的重要特征。 为了保证全方位观看全方位内容和真实的观看体验，受试者可以自由地移动头部，在我们的测试中向各个方向观看视频。 第V节讨论了自由观察方法的验证。
D. assessment method and procedure
采用ACR-HR方法评估视频质量，这是一种有效的单一刺激评估方法。序列一次一个地呈现并且被独立评级。 参考序列也将由受试者呈现和评定，没有任何特殊标识，被视为隐藏的参考序列。所有的测试序列都被随机播放，并且一个只能播放一次。测试序列的等级分数被定义为测试序列等级与参考序列等级差，即DMOS。为了确定测试的质量范围并使非专业猪蹄更清晰，使用五级评定量表来评估视频质量，其中得分1,2,3,4,5对应于质量等级 分别为“坏”，“差”，“公平”，“好”和“优秀”。
主观评估的过程主要分成三个阶段，如fig11所示。说明阶段给受试者一个细致的测试过程的说明，让他们知道不同的阶段怎么做，比如：测试的目的，每个阶段的任务，评估方法，使用的评分等级，评估内容，投票方式和时间，测试序列的数量和类型，测试的总持续时间，如何处理在测试期间感到不适的情况，从而确保有效的过程。由于全景视频观看环境与平面视频的观看环境明显不同，因此训练过程非常必要，显示一组代表性全景视频（“空中城市”及其相应的受损序列在这里使用）以供受试者使用，这样他们就可以熟悉观察环境和测试的质量范围。测试过程在fig12中给出，第一测试阶段开始是三个固定序列（“ChairLift”及其两个受损序列）和48个测试序列。测试的整个观察过程持续约13分钟，分成两个阶段，中间休息十分钟以避免观察疲劳。在此过程中，感觉非常不舒服的受试者可以在测试的任何时刻停止，并且他们的数据将不包括在最终数据库中。
随机呈现所有测试和参考序列以避免顺序效应。 不应连续呈现测试序列和相应的参考，测试序列也不应来自相同的参考。 因此，伪随机顺序用于满足所有条件。
Ⅴ subjective panoramic video quality assessment database
在主观评级过程之后，每个测试序列得到30个评级分数，基于该评分分数将建立数据库。 在本节中，将进行统计分析，以筛选和整合各个分数，以建立主观质量数据库。
A. subject reliability
根据个人评级数据，首先进行实验后筛查，以评估受试者的可靠性并确保有效的数据库。 如果受试者没有按照说明做出反应，则必须丢弃数据。 首先，如果受试者有错过任何一个评分，将被丢弃。 其次，还将对具有不可靠评级的主体进行筛选。
主体的可靠性分析采用了[21]给出的方法。计算每个受试者的峰度以确定他/她的等级评分是否正常分布。如果峰度在2到4之间，当受试者的主观评级超过5%的序列超过所有人平均值两个标准差，那么这个受试者会被舍弃。否则当受试者5%以上的分数超过平均分数√20的标准差时，这个受试者会被舍弃。
总的来说，筛选过程丢弃了来自3个受试者的评级。 因此，27名受试者被认为是可靠的，并包含在我们的主观评价数据库中。
B. calculation of DMOS
由于参考序列也在没有特殊标识的情况下进行展示和评级，因此DMOS的计算结果是可靠的，可以作为最终评分。首先，偏差观察分数（DV）可以被计算：
DVij表示观察者i对j序列的DV。Vij表示i对j打出的等级评分，Vijref表示i对j的参考序列打出的等级评分。在计算时，DV如果大于5，也就是说测试序列比参考序列的质量高，这个数据也可以被接受。在这个环境下，[20]中规定的2点破碎函数将用于避免对平均意见得分的影响：
那么由M个人为测试序列j打出的DMOS分数可以被计算成：
C. further validation of the database
1) viewing consistency
考虑到全景视频的特征，仅管受试者可以自由观看360°的场景，但是球体上不同区域的观看概率也是不同的。如图所示，受试者通常更关注赤道，尤其是球体的前部区域。作为一个重要的假设，我们的测试协议基于，评级测试期间的观察一致性进一步研究，以验证所提出的方法和我们测试的相应评级结果。
在评定测试期间，还记录受试者的头部运动，这提供了在序列观察期间受试者注意的位置的证据。对于每个序列，所有帧上的所有对象的头部运动数据被集成并在随机选择的帧之一上可视化。图13中示出了一些示例，从中可以看出，不同对象的观察方向显示出高度一致性，即朝向赤道，特别是前部区域的强烈观看偏差。 另一方面，图13（d）将来自所有序列的所有对象的观看方向数据组合到热图上，这进一步表明了一致的观看趋势。
2）distribution of the rating data
fig14展示了所有序列的个人评级分数的分布情况，在整个过程质量等级上表现出接近均匀的分布，表明在等级测试中使用的测试序列和编码降级是均匀分布的，因此可以被认为是代表性的。
D. database summary
如上所述，基于其代表性测试序列和可靠的主观评级，所提出的主观质量数据库被认为适合于进一步的应用。 这里对数据库进行了总结，以清楚地呈现数据库。
该数据库的目标是调查观察者对具有编码失真的全景视频质量的主观意见，为客观质量评估模型提供基准，并促进未来的编码应用。数据库总共包括以下几方面内容：
1） panoramic video sequence
从JVET提供的10个8K和4K原始视频生成50个失真的全景视频序列。使用我们在第III节中提出的方法，首先将参考序列下采样到HTC VIVE的最佳显示分辨率。 然后使用具有5个量化参数值的360-Lib的HEVC参考软件（HM版本16.14）引入编码失真。在所有序列中，参考序列“AerialCity”连同其5个失真序列在训练期间用作训练序列，而“ChairLift”的三个失真序列在测试训练开始时用作稳定序列。 因此，总共将来自其余8个参考的40个失真序列用作主观测试中的测试序列。
2）subjects
30名非专业人士参加主观评估测试，包括17名男性和13名女性。 受试者是具有正常或矫正视力正常的本科生和研究生。 他们使用HTC VIVE查看和评估视频质量的序列。 在实验后的受试者可靠性分析之后，证明30个受试者中的27个为数据库中的测试序列提供有效的主观评级数据。
3) individual ratings and DMOS
由于训练和稳定序列的评级不能包括在最终结果中，因此最终获得40个测试序列的1296个单独评级和来自27个可靠对象的8个参考。 评级仅以视频质量绝对5级进行。 当实施隐藏参考序列策略时，计算DMOS以表示视频的质量。
Ⅵ. performance evaluation of objective quality assessment methods
PLCC值在计算之前需要进行逻辑回归
Ⅶ. conclusion
本文提出了一种主观全景视频质量评估策略，用于编码应用，并考虑全景视频的特点。考虑到HMD的投影和分辨率限制，首先提出了在编码之前将视频序列重新采样到最佳分辨率的方法。利用最佳显示分辨率，可以保证视频中心区域上逐像素显示的最大范围，减轻由HMD采样引起的意外质量变化，从而使评估更可靠。此外，基于所提出的协议建立主观质量数据库，包括使用HEVC压缩从10个原始全景视频生成的50个失真序列，来自27个可靠主体的主观评级得分和测试序列的DMOS。基于所提出的数据库，评估了JVET建议的若干现有客观质量评估模型的性能，同时表明需要进一步研究和改进该库。