Referenzcode:ScalableMap
Motivation und Hauptarbeit
Es ist schwierig, die vektorisierte lokale Karte direkt vorherzusagen. Durch die Verwendung der Grob-zu-Fein-Idee kann die gesamte Aufgabe in eine allgemeine Vorhersage umgewandelt werden Zuerst die Struktur der lokalen Karte. Fügen Sie dann Kontrollpunkte hinzu, um einen verfeinerten Ausdruck der Elemente zu erreichen. Daher wurde in dem Artikel ein Grob-zu-Fein-Vorhersageprozess in der Elementdekodierungsphase namens HSMR entworfen, und die Modellierung von Bodenelementen basierte auf MapTR. Darüber hinaus wurden zwei Methoden für die Konstruktion von BEV-Merkmalen ausgewählt: eine Kombination aus Transformator und IPM-Projektion, die die diskreten Merkmale jedes Gitters unter dem BEV-Diagramm und die kontinuierlichen Informationen des Ziels im Bildbereich effektiv berücksichtigen kann.
Netzwerkstruktur und -prozess
Die Struktur des Artikelalgorithmus ist in der folgenden Abbildung dargestellt:
BEV-Merkmalsextraktion
Hier werden zwei Arten von BEV-Merkmalsextraktionsschemata verwendet: verformbare Aufmerksamkeit basierend auf BevFormer und globales MLP basierend auf HFT. Ersteres erfasst Informationen aus dem Bild für das Raster unter jedem BEV, und letzteres erhält durch MLP kontinuierliche und dichte Informationen aus dem Bild. Gleichzeitig wird letzterem eine Segmentierungsaufgabe hinzugefügt, um die Wahrnehmung des zu verbessern Umfeld.
Progressive Kaskadenregression
Die Anzahl der Scheitelpunkte einer einzelnen Instanz in verschiedenen Schichten des Decoders ist inkonsistent und zeigt die folgende Verteilung:
Auf diese Weise Die Struktur entspricht auch der progressiven Optimierungsstrategie des Artikels. Aus der obigen Abbildung können Sie ersehen, dass für eine Instanz eine Gesamtabfrage erstellt wird, die über mehrere Scheitelpunkte verfügt. Wie werden also die zusätzlichen Scheitelpunkte beim Übergang zur nächsten Ebene generiert?
Die im Artikel angegebene Lösung lautet: Interpolation. Das hat durchaus eine gewisse Rationalität, schließlich sind die charakteristischen Ausdrücke ähnlich, wenn sie nahe beieinander liegen.
Anschließend werden die Auswirkungen einer solchen Kaskadenoptimierungsstrategie, eines Abfragedesigns und eines Upsampling-Mechanismus sowie einer BEV-Merkmalsextraktionsstrategie auf die Leistung in der folgenden Tabelle dargestellt (die Merkmalsoptimierung ist am effektivsten):
Experimenteller Vergleich
nuScenes-Validierungsdatensatz:
