VQA介绍
常规定义
视频质量评价(Video Quality Assessment,VQA)是指通过主观、客观的方式对视频图像的内容、画质等,进行感知、衡量与评价。
ITU对VQA的定义
ITU
ITU(International Telecommunication Union,)即国际电信联盟,简称电联,前身是国际电报联盟,它的组织结构主要分为无线电通信部门(ITU-R)、电信标准化部门(ITU-T)以及 电信发展部门(ITU-D)。1997年ITU-T和ITU-R 联合设立的视频质量专家组(VQEG,Video Quality Experts Group),此后视频质量客观检测的标准化工作正式展开。视频质量专家组VQEG,是目前国际上对视频质量进行标准化及性能测试的最权威组织。VQEG参与多项ITU工作组的相关标准的起草和制定工作,它提供了数字视频质量评价方法的标准化过程,VQEG在全球范围内征集各种视频质量评价方法,并进行验证,然后反馈实验结果给工商界和学术界,最后由ITU-T和ITU-R发布标准或报告。
ITU definations
subjective assessment:
the determination of the quality or impairment of programme-like pictures presented to a panel of human assessors in viewing sessions.
(人类观测小组对节目类图片的质量或者损害进行的判断。)
objective perceptual measurement:
the measurement of the performance of a programme chain by the use of programme-like pictures and objective(instrumetal) measurement methods to obtain an indication that approximates the rating that would be obtained from a subjective assessment test.
(通过对节目的图片使用客观测量的方法,对整个节目链进行测量,以获得一个近似于从主观评估测试中获取的评分的指标。)
VQA分类
分类 | 解释 |
---|---|
主观评价 | 人类观测小组对节目类图片的质量或损害进行的判断 |
客观评价 | 通过对节目的图片使用客观测量的方法,对整个节目链进行测量,以获取一个近似于从主观评估测试中获得的评分的指标;其实从这里看,客观评价的目标就是无限取向与主观评价 |
VQA的重要性与作用
视频质量评价(VQA)是视频服务系统中的重要技术要素,贯穿成像、编辑、处理、编/转/解码、渲染、显示等整个视频技术链条;
VQA作用 | 解释 |
---|---|
评价和指导图像和视频编码压缩 | 主流图像视频编码压缩方法都是以有损压缩为主以无损压缩为辅,编码框架中每个模块的选择和参数设置都以图像质量为依据,图像质量评价方法也是制约因素之一。 |
评价和指导图像处理算法 | 比较或选择图像处理算法,评价指标就是公平比较各种算法 |
用户终端的视频质量监控 | 在远程服务相关应用,如视频会议,远程教育,网络直播等应用场合中,实时监控用户端的视频质量 |
视频质量主观评价
专门为主观评价写了一篇文章介绍:
https://blog.csdn.net/yanceyxin/article/details/126003881?spm=1001.2014.3001.5502
视频质量客观评价
客观算评价算法很有,主要分为全参考、部分参考、无参考;
全参考客观评价算法
全参考 | 解释 |
---|---|
MSE | Mean Square Error 均方误差 |
psnr | ○ Peak Signal to Noise Ratio 峰值信噪比,MSE。PSNR是图像。视频处理领域目前应用最广的性能量化指标,简单易用速度快,在目前应用最广泛的视频编码标准H264/avc和最新的h265/hevc中,PSNR依然是最主要的客观评价方法;但是MSE/PSNR与主观感知的一致性很低,如最上的图圆外六幅图的MSE和PSNR都完全一致,但主观却相差很多。 |
ssim | 结构相似度 |
PSNR-HVS | Peak Signal-to-Noise Ratio taking into account Contrast Sensitivity Function (CSF) (PSNR-HVS) |
PSNR-HVSM | Peak Signal-to-Noise Ratio taking into account Contrast Sensitivity Function (CSF) and between-coefficient contrast masking of DCT basis functions (PSNR-HVS-M) |
NQM | 噪声质量指标 |
UQI | 全局质量指标 |
3-SSIM | 三分量加权结构相似性指数 |
IW-SSIM | 基于信息量加权的结构相似性 |
GSSIM | 基于高斯的结构相似性 |
IFC | 信息保真度准则 |
VIF | 视觉信息保真度 |
VSNR | 视觉信噪比 |
FSIM | 特征相似度 |
GMSD | Gradient Magnitude Similarity Deviation(GMSD) |
vmaf | netfix开源算法,基于SVM机器学习 |
DVQA | 腾讯开源算法,基于深度学习 |
AVQT | apple的视频评价算法 |
全参考方法标准流程:
无参考客观评价算法
无参考 | 解释 |
---|---|
NIQE | 一种无参考图像评价算法 |
BRISQUE | 一种无参考图像评价算法 |
VIDEVA | https://github.com/vztu/VIDEVAL |
VSFA | https://github.com/lidq92/VSFA |
V-BLIINDS | https://live.ece.utexas.edu/research/Quality/index_algorithms.htm |
VIIDEO | https://live.ece.utexas.edu/research/Quality/index_algorithms.htm |
TLVQM | https://github.com/jarikorhonen/nr-vqa-consumervideo |
NSTSS | https://github.com/lfovia/NRVQA-NSTSS |