正文字数：2004 阅读时长：3分钟
本文来自腾讯极速高清团队的投稿，介绍了AR-SR在对压缩后的视频进行后处理，减轻压缩带来的画质损失。欢迎通过[email protected] 投稿把你的经验和思考分享给大家。
文 / 腾讯极速高清团队
视频是当前网络媒体主要形式和网络带宽资源的主要消耗者。通过降低分辨率和增加压缩比率，人们可以将视频以较小的网络带宽消耗进行传输，但降质传输的视频画质效果很影响用户观看体验。因此，如何让视频以更小的带宽传输，再通过修复增强算法恢复出高清画质，实现“美”的共享，是视频技术领域的新挑战。
在此背景下，腾讯极速高清团队以低带宽占用下为用户提供更好的视频体验为目标，提出了包括画质修复与增强、内容自适应参数选择、高质量编码器等一整套视频处理解决方案。其中，在画质增强修复中提出的“AR-SR”方案，在AIIA2020人工智能开发者大会专项赛事旷视超分辨率大赛中取得冠军，下面由腾讯极速高清团队带来关于“AR-SR”方案的技术分享。
（左：受损画质 右：AR-SR提升结果）
“AR-SR”网络设计结合汇聚层及空间注意力机制，充分挖掘压缩失真和纹理的模式信息，并依据对压缩失真和纹理的分析，在SOTA的RIR（residual in residual）结构上进一步改进，在合理的层数设计上添加了内外两层跳跃连接，提高了网络模型的稳定性。与此同时，“AR-SR”设计的解耦信噪特征损失函数(disentangled loss)，通过端到端地引导网络对伪影和纹理加以区分，在增加网络可控与可解释性的同时，让网络拥有良好的伪影去除及边缘保持特性。最终，“AR-SR”在保证客观指标得分的前提下，能够进一步提升画质主观效果。下面从结构设计和损失函数设计两个角度对“AR-SR”进行详细介绍。
结构设计
在结构设计上，“AR-SR"具有以下几个特点：
多级汇聚层：网络主干使用了残差内残差的baseline结构，创新地在内外层的两级残差均添加了汇聚层模块，用于充分挖掘浅层、中层信息，即压缩失真和纹理的模式。这是很多现有算法忽略到的部分。
轻量像素注意力：使用了轻量级模块提取像素注意力。该模块与汇聚层结合能更好地挖掘特征中的信息，减少参数冗余。研究发现汇聚层和注意力机制的作用有1+1>2的效应。
多帧融合：时移模块(Temporal shift)，该模块是一种轻量的时域信息迁移模块。相关成果比较新，目前还很少有在底层视觉运用，唯一接近的工作是图像修补。
子像素提取模块：像素重新排列，相较转置卷积速度更快，且没有棋盘效应。
压缩失真和纹理分析：分析了退化数据的压缩伪影和真实纹理的分布和模式，通过可视化(如下图右侧)像素误差信息，添加必要的连接（下图左侧），让网络更好辨别二者。
模型选择：通过分析模型效果的方差，挑选出泛化能力更强的模型。该方法简单有效，在实际应用中经常采取该策略。
每个技术点的实际收益如下图所示，可以看到多级汇聚技术带来的收益最为明显。
“AR-SR”网络模块设计灵活，以此为基础，后续很方便改造为高效的、适用多种降质任务的轻量网络。
损失函数设计
一直以来，AI技术的可控性和可解释性都是比较差的，因此深度学习也常常给予人们一种捉摸不透的“黑盒子“印象。现有超分辨率算法在遇到严重的噪声/伪影干扰时，表现性能会大幅下降。具体表现为会放大噪声/伪影等错误的高频信息，产生严重影响观感的bad case。同时现有数据驱动的去压缩失真、去噪算法也伴随着像素平均化的影响，出现over-smooth的现象。
团队设计了“对症下药“的解耦信噪特征损失函数(disentangled loss)，根据编解码知识的先验，使得网络可以智能感知编码量化带来的块效应、振铃效应以及各种复杂的伪影现象，如下图所示，黑色标记为失真伪影。
解耦信噪特征损失函数(disentangled loss)，通过端到端地引导网络去区分像素属于伪影还是纹理，增加网络的可控与可解释性。其他算法(包括编解码的环路滤波、传统图像算法、现有最新的深度学习网络没有足够可靠的机制与统一的公式去判断压缩块的边界是量化产生还是真实就有的。借助这项自研的像素区域分类损失，和像素级重建损失结合，这项技术不仅能够在测试数据上展现明显领先的客观指标分数，同时能大大缓解over-smooth的现象，取得了“黑科技“般的主观效果。
（左：受损画质 右：AR-SR提升结果）
（左：受损画质 右：AR-SR提升结果）
同时，“AR-SR”是深度学习技术和编解码先验知识结合的一次实践。团队下一步的计划是在传统图像处理、视频编解码的先验知识中挖掘更多可供利用的信息，指导网络结构的设计，使其更高效可控。这是目前网络结构搜索(NAS)等方式所不具备的能力。
展望
往往UGC点播短视频视频场景，受限于用户拍摄条件有限或上行网络带宽限制，需要对拍摄源视频降低分辨率、使用较低码率压缩，从而给视频带来了很大的采样损失和量化损失，很大程度影响用户观感体验。对于这种场景，可以在转码端对源视频使用团队改造后“AR-SR”方案进行画质提升，修复压缩带来的损耗和恢复原分辨率信号。
团队后续不断演进“AR-SR”算法，提升算法鲁棒性，并将实际落地应用到点播视频修复与增强业务场景。
LiveVideoStackCon 2020 北京
2020年10月31日-11月1日
点击【阅读原文】了解更多详细信息