VVC屏幕内容编码新模式：Intra-Affine mode (JVET-O0682)

2019.3-2019.9月，实验室针对VVC/H.266的屏幕内容编码(SCC)，在JVET和AVS3会议上共提出了3份提案，分别是JVET-O0682、AVS-M4821和AVS-M4874。三份提案的内容都是关于屏幕内容编码的新模式：Intra-Affine mode。其中，AVS的两份提案进入核心实验CE。此外，算法的详细内容已投稿至PCS2019(已接收)——《An Intra-Affine Current Picture Referencing Mode for Screen Content Coding in VVC》。
以JVET-O0682为例，简要介绍一下提案的内容。

1、概述

针对下一代视频编码标准VVC的屏幕内容编码SCC，JVET-O0682提案提出了一种“帧内仿射运动”的新编码模式(Intra-Affine mode)。该模式独立于传统的帧内预测模式(Intra mode)和帧内块复制模式(IBC mode)，利用高阶运动模型——仿射运动模型提高了屏幕内容编码的精度。

在该模式中，当前帧（已编码区域）会被当做唯一的参考帧。编码单元(Coding unit, CU)是否使用该Intra-Affine mode通过IBC flag和Affine flag进行标记——当IBC flag和Affine flag都是true时，表示CU使用该模式。实验结果表明，IBC模式打开的条件下，和最新的VVC测试模型VTM-5.0相比，编码效率提升指标BD-Rate如下（负数表示性能提升）：

AI配置下，SCC测试序列的 Y、U、V分量平均为-2.03%、-1.99%、-2.03%。
AI配置下，Class F测试序列的Y、U、V分量平均为-0.19%、-0.24% 、-0.18%。
RA配置下, SCC测试序列的Y、U、V分量平均为-0.17%、-0.15%、-0.23%。
RA配置下, Class F测试序列的Y、U、V分量平均为-0.61%、-0.61%、-0.67%。

2、“帧内仿射运动”模式(Intra-Affine mode)的介绍

JVET-O0682提案提出了“帧内仿射运动”的新编码模式(Intra-Affine mode)，它是在原有Intra mode、IBC mode之外，新增的一种编码模式，与原有模式之间独立进行、互不干扰、相互竞争，最终由RDO过程计算Rdcost，决策最佳编码模式。

增加Intra-Affine mode模式后的整体SCC帧内预测流程图如下图1所示。如图1所示，Intra-Affine mode作为一种独立的帧内预测模式，与原有的Intra模式、IBC模式互不影响，独立进行编码后，最终进入RDO过程决策最佳编码模式。和IBC模式相同，在编码端进入Intra-Affine mode时，会将编码单元的IBC flag设为true，当前图像设置为预测的唯一参考帧。此外，会将编码单元(CU)的Affine flag设为true。当IBC flag和Affine flag都是true时，表示CU使用该模式。

图1. 增加Intra-Affine mode模式后的整体SCC帧内预测流程图

编码端Intra-Affine mode步骤：

首先通过复用已编码相邻预测单元（PU）的运动参数信息以及通过区域搜索local search，建立初始BVAffi的候选列表（BVAffi0）。
以初始BVAffi作为搜索起点，以减小预测误差为目的设置迭代规则，对BVAffi进行更新，实现基于仿射运动模型的迭代搜索。
对于(1)建立的候选列表中的每一个初始BVAffi，都进行(2)步骤，并计算迭代搜索后对应的编码开销cost（cost综合考虑预测误差与其它开销，如引入的运动参数）。最终仅保留cost最小的BVAffi作为最优BVAffi，输出对应的运动参数信息。

之后，编码器会根据所有模式分别输出的参数信息，由RDO过程决策当前编码单元的最佳模式。

注：初始BVAffi候选列表的建立方法以及迭代更新方法可以参考[1-2]。

[1] J. Cao, Z. Li, J. Wang, F. Liang, Y. Yu and Y. Liu, “CE8-related: An Intra-Affine mode for screen content coding,” JVET-O0682, Gothenburg, SE, 3–12 July 2019.
[2] J. Cao, Z. Li, F. Liang and J. Wang, “An Intra-Affine Current Picture Referencing Mode for Screen Content Coding in VVC,” 2019 Picture Coding Symposium (PCS), Ningbo, 2019, in press.

Intra-Affine mode模式的推断：

以上为编码端执行Intra-Affine mode模式的流程，接下来说明如何标记该模式，以便于其他PU参考具备Intra-Affine mode模式的PU，或者便于解码端解码。

在此说明，不需要在码流中定义一个新的Flag，来标记提出的Intra-Affine mode模式，只需要复用IBC flag和Affine flag。如上文所述，在编码端进入Intra-Affine mode时，会将编码单元的IBC flag设为true，且当前图像设置为预测的唯一参考帧。此外，会将编码单元(CU)的Affine flag设为true。所以，不论在编码端还是解码端，只要检测到IBC flag和Affine flag都是true，即可以推断该编码单元采取本文所提出的Intra-Affine mode。