本文来自PCS 2022的论文《Unified Fast Partitioning Algorithm for Intra and Inter Predictions in Versatile Video Coding》
介绍
VVC (Versatile Video Coding) 标准采用了比HEVC (High Efficiency Video Coding) 标准更灵活的划分结构，在HEVC的四叉树划分结构基础上，引入了多类型树划分，大大提高了编码效率，同时导致了编码端复杂度大幅增加。本文基于编码器 RD 检查的历史信息，提出了一种帧内和帧间统一的快速划分。本文所提算法在VVC参考软件VTM-14.0上测试，该算法在All Intra (AI)、Random Access (RA)和Low Delay P (LDP)配置下，编码器运行时间平均减少42.47%、40.46%和40.38%，BDBR损失分别为0.45%、1.08%和1.18%。
VVC划分结构
VVC和HEVC的划分结构比较如下图所示，在VVC中，引入了新的QTMT CU划分结构，统一了CU、PU和TU的概念。除了HEVC中的非分区(NS)和QT分区外，VVC还支持二叉树(BT)和TT的递归分区结构，也称为多类型树(MTT)。具体地，MTT包括垂直二叉树(vertical binary tree, VBT)、水平二叉树(horizontal binary tree, HBT)、垂直三叉树(vertical three tree, VTT)和水平三叉树(horizontal three tree, HTT)四种类型的分区，如下图所示。在划分过程中，CU可以选择下图所示的任意划分树。然而，如果CU选择使用多类型树MTT划分结构，后续的子节点只能选择MTT划分结构，并且受到最大MTT深度的限制。
所提算法
1. BT-direction-based QT and TT skip
当编码器在TT和QT之前检查BT划分，则可以根据BT的划分结果，选择跳过QT和TT划分。
具体地，如果BT划分路径中的最终分区结构只包含一个单一的划分方向，则很可能另一个划分方向不适合当前的CU。如下图所示，如果VBT的最终分区结构只包含垂直划分方向，则可以推断水平划分不适用于当前CU，从而可以跳过水平二叉树划分和四叉树划分。同样的规律也适用于HBT跳过VTT和QT。
2. BT-position-based TT skip
除了BT划分路径的方向信息外，其分区的位置信息还显示了最优的分区结构，可以用来跳过TT。
如下图所示，如果VBT的最终划分结构没有产生任何位于VTT位置的分区，则可以推断VTT划分不适合当前CU，可以跳过。否则不能跳过VTT。
同样的规则也适用于HBT对HTT的跳过。
3. MTT-depth-based BT and TT skip
当一个CU无法通过当前的大小找到一个好的预测时，需要将其划分为更小的CU，并且从检查路径中获得的分区深度信息表明最优的CU大小。此小节提出如果决定在BT和TT之前检查QT, QT中的MTT深度可以被利用来提前跳过剩余的划分。
如之前所述，VVC编码器只允许MTT划分节点递归划分BT和TT，并且限制MTT的最大划分深度。
如果一个CU首先检查QT，并且一个QT子节点达到最大MTT深度，这意味着最优的CU大小比当前的CU小得多，那么当前CU可以跳过BT和TT的检查，因为BT和VT无法划分得到这么小的CU。如下图示，其中最大MTT深度设置为3，QT分区路径中的第一个CU通过顺序的VBT、HBT和VBT的MTT深度为3。然而，当前CU无法通过BT和TT无法划分为如此小的子CU（受到MTT深度的限制，仅能再次划分两次），因此，可以提前跳过所有剩余的BT和TT划分。
4. Historical-CU-based BT and TT skip
VVC采用QT、BT和MT的递归划分结构，因此同一位置的相同大小的CU可以在不同的划分路径上多次检查，如下图所示。
在本文中，将与当前CU处于相同位置且大小相同的CU称为历史CU。虽然一个CU在相同位置的大小与其历史CU相同，但由于相邻信息的不同，例如在帧内预测中不同的参考像素，或在帧间预测中不同的运动向量(motion vectors, mv)，它可能会有不同的划分决策。因此，直接重用历史CU的最优划分决策可能会给当前CU带来很大的损失。
本小节提出利用在不同分区路径中的当前CU与其历史CU之间最优划分方向的相关性。如果一个方向的BT和TT在历史CU中都优于另一个方向的BT和TT，则很可能另一个方向的划分不适合当前CU，从而使当前CU可以跳过另一个方向的BT和TT，如下图所示。
实验
本文所提算法在VTM14.0中实现，测试结果如下图所示，表二展示了所提四个算法的最终效果，表三展示了RA下所提四个算法的单独的效果。
