【论文笔记】Ada3D : exploiter la redondance spatiale avec l'inférence adaptative pour une détection efficace des objets 3D

Ada3D : Exploiter la redondance spatiale avec l'inférence adaptative pour une détection efficace des objets 3D
原文链接：https://arxiv.org/abs/2307.08209

1. Introduction

  La perception 3D doit être rapide et précise. La méthode basée sur le voxel peut atteindre les performances SotA, mais est limitée par les ressources des véhicules autonomes et est difficile à répondre aux exigences en temps réel.
  Il y a deux raisons à ce long temps de traitement : premièrement, le modèle est trop volumineux, y compris des opérations fastidieuses telles que la convolution clairsemée 3D ; deuxièmement, l'entrée que l'algorithme doit traiter est trop volumineuse (trop de points lidar). Les articles précédents l'ont examiné du point de vue de la compression du modèle ; cet article examine les méthodes permettant de réduire le temps d'inférence à partir du niveau des données.
  Les réseaux courants basés sur les voxels utilisent des réseaux fédérateurs 3D pour extraire des caractéristiques 3D des nuages ​​de points d'entrée, qui sont ensuite projetés sur BEV et traités ultérieurement avec des réseaux fédérateurs 2D. Cependant, il existe une redondance spatiale dans les voxels 3D et dans le BEV 2D. Par exemple, les points des revêtements routiers et des bâtiments appartiennent aux points d'arrière-plan de la détection 3D. Lors de la suppression aléatoire de 30 % des points ou de la suppression de 70 % des points en dehors du cadre de sélection (au premier plan), il n'y a qu'une légère dégradation des performances. Le CNN 3D existant traite chaque point de la même manière et gaspille beaucoup de calculs et de stockage dans la zone d'arrière-plan. Seule une petite partie de la carte des caractéristiques 2D BEV a des valeurs de pixels, et le reste sont des valeurs d'arrière-plan 0. Mais les méthodes actuelles traitent les cartes de caractéristiques 2D BEV comme des cartes de caractéristiques denses et utilisent le traitement CNN conventionnel. Après avoir passé la première couche BN, la carte de caractéristiques perd sa parcimonie.
  Cet article propose la méthode d'inférence adaptative Ada3D pour réduire la redondance des données. Utilisez l'inférence adaptative pour les backbones 3D et 2D, en filtrant sélectivement les voxels 3D redondants et les fonctionnalités BEV 2D pendant l'inférence. Un prédicteur léger est utilisé pour évaluer l'importance des entités d'entrée sous BEV, et le score de prédiction est combiné avec la densité de points lidar pour déterminer s'il convient de supprimer des points. De plus, une normalisation par lots simple et efficace préservant la parcimonie est proposée pour éliminer l'influence des pixels d'arrière-plan et préserver la parcimonie des caractéristiques BEV 2D. Ada3D peut réduire considérablement la quantité de calcul et de stockage sans sacrifier les performances.

3. Méthode

3.1 Détection basée sur les voxels avec inférence adaptative

  L'opération de voxélisation génère des voxels clairsemés $X_{}\in {R.}^{N\times C}$ , où$N$ est le nombre de voxels,$C$ est le nombre de canaux caractéristiques. Structure de voxel 3D$F_{}$Utilisez la convolution clairsemée 3D pour extraire les caractéristiques du nuage de points et obtenir ${\tilde{X}}_{}$. Plus loin zzRegroupement de somme sur l'$axe\; z$$X_{}\in {R.}^{C\times L\times H}$ . Enregistrez le processus de projection et son processus inverse sous la forme$C_{\text{3D}\to }$和$C_{\text{2D}\to }$. Réseau fédérateur 2D $F_{}$Les caractéristiques BEV sont ensuite extraites et finalement envoyées à la tête de détection $F_{}$Faites des prédictions de cadre de délimitation.
  L'inférence adaptative est utilisée dans les backbones 3D et 2D. ii à l'épine dorsale 3D$i$ couche, l'inférence adaptative peut être exprimée comme suit :$$X_{\text{3D}}^{}=F_{\text{3D}}^{}\left({\tilde{X}}_{3D\_}^{je-}\right)$$其中$$\begin{gathered} {\tilde{X}}_{\text{3D}}^{je-}=C_{\text{2D}\to }\left(F_{}\right(C_{\text{3D}\to }\left(X_{\text{3D}}^{je-}\right),S))\odot X_{\text{3D}}^{je-} \\ S=F_{}\left(C_{\text{3D}\to }\right(X_{\text{3D}}^{je-})) \end{gathered}$$这里$S\in {R.}^{W\times H}$ représente le score d'importance des pixels BEV, qui est représenté par$F_{}$(L'entrée est constituée de voxels 3D après projection BEV) Obtenu en combinant la sortie du prédicteur et la densité du nuage de points. Étant donné le taux d'abandon ${R.}_{}$, processus de filtrage spatial $F_{}$Basé sur le score d'importance $S$ supprime la plupart des parties redondantes des fonctionnalités BEV et génère un masque unique qui indique si un emplacement donné doit être conservé. En diffusant vers l'espace 3D et en multipliant élément par élément avec les caractéristiques du voxel 3D d'origine, les caractéristiques du voxel 3D sous-échantillonnées${\tilde{X}}_{3D\_}^{je-}$. Les voxels filtrés sont traités comme des valeurs 0 et ne seront ni stockés ni traités. En savoir plus sur $F_{}$和$F_{}$Voir les sections 3.2 et 3.3 pour plus de détails.
  De même, pour le ii-ème du $i$层，自适应推断可以表达为：$$\begin{gathered} X_{\text{2D}}^{}=F_{\text{2D}}^{}\left({\tilde{X}}_{2D\_}^{je-}\right) \\ {\tilde{X}}_{\text{2D}}^{je-}=F_{}(X_{\text{2D}}^{je-},S)\odot X_{\text{2D}}^{je-} \\ S=F_{}\left(X_{\text{2D}}^{je-}\right) \end{gathered}$$

3.2. Conception des prédicteurs d'importance

  Cet article utilise un CNN léger pour prédire le score d'importance spatiale de chaque emplacement à partir des entités d'entrée.

déduire

  Le processus d'inférence du prédicteur peut être exprimé comme suit : $${Oui}_{\text{pred}}=F_{\text{pred}}(X_{\text{BEV}};{\Theta }_{\text{pred}})$$其中$F_{\text{pred}}$是参数为${\Theta }_{\text{pred}}$的预测器，输出为单通道热图$Y_{\text{pred}}\in {\mathbb{R}}^{W\times H}$。直观来看，垂直空间中的冗余较少，因此压缩垂直空间对效率的提升有限；此外在3D空间中预测重要性比较困难。注意预测器由多个分组卷积构成，输入分辨率为原始BEV分辨率的1/8，且其权重在3D主干和2D主干的不同层之间是共享的，可以减小参数和计算。

训练

  由于丢弃大量边界框外的点仅会使性能轻微下降，表明边界框的中心应该有更高的重要性。本文按照CenterPoint的方法，通过添加峰值在物体中心的高斯核生成真实热图$M_{\text{gt}}$。使用均方误差（MSE）损失函数进行训练。

3.3. 密度指导的空间过滤

  预测分数$Y_{\text{pred}}$Il peut représenter efficacement l'importance relative des entités en entrée, mais le nuage de points est dense à proximité et clairsemé à distance. Le prédicteur aura tendance à prédire une importance plus élevée dans les zones denses et à ignorer les objets distants. Cet article utilise la densité BEV du nuage de points pour ajuster le score du prédicteur : $$S=F_{}\left(X_{}\right)=F_{}(X;{Ème}_{})\cdot D_g^{}$$où $D_{}$est la taille de ggCarte thermique de densité de$g$$\beta$ est un hyperparamètre qui ajuste la distribution de densité afin que les scores prédits et la distribution de densité aient la même variance.

3.4. Normalisation des lots préservant la rareté

  Étant donné que la carte de caractéristiques BEV est clairsemée, si des méthodes conventionnelles sont utilisées, elle perdra sa rareté après avoir passé la première couche BN et une grande quantité d'espace sera gaspillée pour stocker les caractéristiques d'arrière-plan avec moins d'informations.
  La solution directe consiste à effectuer le BN uniquement sur des pixels non vides, mais cela entraînera un entraînement instable et une réduction des performances car cela endommage la relation relative des caractéristiques. Par conséquent, cet article apporte des améliorations et propose une « normalisation par lots préservant la parcimonie » (SP-BN), qui ne soustrait pas la valeur moyenne des caractéristiques lors de l'exécution du BN sur des pixels non vides. De cette façon, les pixels non nuls peuvent être distingués des pixels d’arrière-plan. L'expression de SP-BN est la suivante : $${\hat{X}}_{je}^{(k}=\frac{X_{je}^{(k}}{\sqrt{({p.}_B^{(k}{)}^2+ϵ}}$$où $p_B^{(k}$est l’écart type. En remplaçant BN par SP-BN, la rareté du BEV peut être considérablement augmentée sans dégradation des performances.

« Endommager la relation relative des caractéristiques » peut être compris comme ceci : en supposant que les valeurs de pixels non nulles sont toutes égales (la variance est de 0), effectuer BN sur des pixels non vides entraînera que tous les pixels soient 0, et le premier plan et l'arrière-plan devient indiscernable.

4. Expérimentez

4.1. Détails de mise en œuvre

Conception d'inférence adaptative

  Cet article ajoute uniquement l'inférence adaptative à certaines couches des squelettes 3D et 2D.

4.2. Comparaison des performances et de l'efficacité

  Les résultats expérimentaux montrent que le modèle ajoutant Ada3D peut atteindre des performances comparables au modèle d'origine, mais le temps d'inférence et la consommation de stockage peuvent être considérablement réduits. En ajustant le taux de chute ${R.}_{}$, peut être déduit selon différents budgets de ressources. Par rapport aux méthodes de modèles compressés, Ada3D peut réaliser une inférence plus rapide avec moins de dégradation des performances.

4.3. Expérience matérielle

  Après expériences, les conclusions suivantes peuvent être tirées :

1. Après avoir utilisé SP-BN pour remplacer BN sur la base du modèle d'origine , une carte de caractéristiques BEV plus clairsemée peut être obtenue, augmentant ainsi considérablement l'efficacité d'inférence du squelette 2D.
2. La latence de bout en bout du backbone 3D est liée au taux d'abandon.
3. Ada3D est plus efficace avec des scènes plus grandes et une voxélisation plus fine. À son tour, l’augmentation de l’efficacité peut réduire davantage la taille des voxels et ainsi améliorer les performances.

5. Analyse et discussion

5.1. Études d'ablation

  Le prédicteur d'importance évalue avec précision l'importance des caractéristiques d'entrée . Les expériences montrent que le prédicteur reconnaît les caractéristiques dans les boîtes englobantes ; seules très peu de caractéristiques ont une importance évaluée de manière incorrecte.
  Le guidage par densité évite de rejeter de petits objets éloignés . L'utilisation de prédicteurs seuls entraînait une dégradation significative des performances, en particulier pour les petits objets. Le guidage de densité compense les petits objets distants qui devraient être de faible importance en raison de nuages ​​de points clairsemés. L’utilisation uniquement de scores ou de densités de prédicteurs entraînera la suppression de points dans certaines boîtes englobantes, affectant ainsi les performances.
  SP-BN conserve la parcimonie du BEV sans affecter les performances .

5.2. Analyse de l'inférence adaptative

  Ada3D introduit une surcharge négligeable . En raison de la faible résolution d'entrée et de l'utilisation de convolutions groupées, la surcharge du prédicteur au moment du test n'est que de 1 % de celle du détecteur 2D.
  Ada3D peut améliorer les performances . L'inférence adaptative peut même améliorer les performances grâce à la possibilité d'éliminer le bruit.