CVPR2023 | Сегментация динамической области не требуется! Новый прогресс в многокадровой оценке глубины: механизм перекрестного внимания повышает точность динамической области

Название : Обучение объединению монокулярных и многоракурсных сигналов для многокадровой оценки глубины в динамических сценах

Документ : https://arxiv.org/pdf/2304.08993.pdf

Код : https://github.com/ruili3/dynamic-multiframe -глубина

гид

Многокадровая оценка глубины опирается на согласованность нескольких представлений в статических сценах для получения высокоточных результатов. Однако в уличных сценах точность многокадровых методов в динамических областях значительно снижается из-за существования различных движущихся областей, которые нарушают статические допущения. В этой статье предлагается многокадровая сеть оценки глубины, подходящая для динамических сцен.Благодаря предложенному механизму перекрестного внимания он Cross-cue attentionэффективно сочетает и дополнительно усиливает преимущества многокадровых/однокадровых признаков глубины.Без введения какой-либо динамической сегментации области , Эффект оценки глубины в динамических областях значительно лучше, чем у однокадровых/многокадровых методов .

мотивация

В прошлом методы многокадровой оценки глубины использовали идею «сегментации динамических областей + однокадровая оценка и компенсация» для решения проблемы оценки глубины в динамических областях. Однако

• Метод очень чувствителен к результатам сегментации динамической области, а точность сегментации вносит дополнительную неопределенность.
• Точность динамической области часто ограничивается эффектом оценки одного кадра, и трудно добиться значительного улучшения на основе одного кадра.

Исходя из этого, в статье исследуются следующие вопросы:

Можно ли достичь результатов динамической глубины значительно лучше, чем точность мультикадра/одиночного кадра, без введения динамической сегментации областей?

Производительность однокадровых/многокадровых сигналов (слева направо: карта глубины, карта ошибок, реконструированное облако точек)

Как показано на рисунке выше, путем дальнейшего анализа производительности однокадровых/многокадровых сигналов в динамических сценах в документе было обнаружено, что однокадровые сигналы могут лучше фиксировать форму динамических объектов, но точность статических сцен недостаточна. , тогда как статическая точность многокадровых методов очень низкая, высокая, но есть явная деформация структуры сцены в динамической области. Дополняющий характер двух отведений демонстрирует потенциал взаимного усиления :

• Информация о статической структуре нескольких кадров может повысить общую точность одного кадра, что приведет к дальнейшему повышению точности динамической области одного кадра.
• Информация о динамической структуре одного кадра может использоваться для повышения точности многокадровых динамических областей и, наконец, для вывода высокоточной динамической глубины сцены.

Для достижения этой цели в этой статье предлагается модуль слияния перекрестных сигналов Cross-cue Fusion moduleдля достижения эффективного слияния двух сигналов глубины без явной сегментации.

метод

Общая структура метода

Для целевого изображения ${я}_{}е{р}^{H\times W}$ , смежные кадры$({я}_{т-},{я}_{т+})$ и внутренние и внешние параметры сцены$К,T$ , целью этой статьи является использование слияния информации об одном/нескольких кадрах для оценки целевого кадра${я}_{}$Значение глубины ${Д}_{}е{р}^{В\times Ш.}$ Как показано на рисунке выше, основные модули статьи включают: монокулярную/многокадровую конструкцию корпуса с указанием глубины, модуль слияния кросс-метки с информацией о глубине с одним/многокадром (Cross-cue Fusion) и регрессионная сеть карты глубины (модуль глубины) и т. д.

Одно-/многорамная бюджетная конструкция кузова

Стоимостной объем одного/многокадра представляет собой сигналы глубины, передаваемые информацией об одном/многокадре соответственно. Построение многокадрового тела затрат следует построению тела затрат для многоракурсного стереосопоставления: учитывая ряд допущений плоскости глубины $ге{\left\{{д}_{}\right\}}_{к=1}^{}$, используя метод прогонки плоскости, целевой граф ${я}_{}$Вычислите сходство соответствия между любым пикселем и точкой выборки на эпиполярной линии, соответствующей соседнему кадру.
Затем получите тело стоимости согласования нескольких кадров ${С}_{}е[0,1{]}^{В\times Ш\times М}$ . Для${С}_{}$Соответствующий вектор C multi ( i , j ) ∈ RM C _ {\ text {multi}} (i, j) \ in \ mathbb {R} ^ {M}, представленный каждым пикселем в${С}_{}(я,ж)е{р}^M$ , где канал с большим сходством указывает, что значение глубины, которое он представляет, ближе к истинной глубине.

Для построения тела стоимости одного кадра сначала используйте простую сеть U-Net для создания целевого кадра ${я}_{}$Карта глубины одного кадра ${Д}_{}"="{ф}_{я}^{}\left({я}_{}\right)$ , чтобы согласовать результат для одного кадра с размером стоимостного объема многокадровой обработки для слияния, мы преобразуем карту глубины одиночного кадра в стоимостной объем глубины C${С}_{}е\{0,1{\}}^{В\times Ш\times М}$ . Пиксель${С}_{}(я,ж)е{р}^M$ кодируется как однократный вектор

$${С}_{\text{моно },(я,j}\left[к\right]"="{\left\{1|{г}_{}е\left({д}_{к-},{г}_{}\right]\right\}}_{к=1}^{}.$$

Модуль Cross-Cue Fusion

Модуль Cross-Cue Fusion

Получить одиночные/многокадровые тела стоимости ${С}_{мон},{С}_{мульт}$Наконец, в этой статье предлагается модуль слияния перекрестных сигналов (Cross-cue Fusion Module, CCF), чтобы объединить два и улучшить друг друга. Как показано на рисунке выше, он состоит из механизма перекрестного внимания (Cross-cue Attention, CCA) и остаточного соединения.

Сначала мы помещаем ${С}_{мон},{С}_{мульт}$Обе функции ${Ф}_{},{Ф}_{}е{р}^{h\times w\times M}$ , а затем используйте механизм перекрестного внимания (CCA), чтобы усилить друг друга.

$$\begin{array}{rl}& {\widetilde{Ф}}_{}"="{ОСО}_{}\left({Ф}_{},{Ф}_{}\right),\\ & {\widetilde{Ф}}_{}"="{ОСО}_{}\left({Ф}_{},{Ф}_{}\right)\end{array}$$

Механизм перекрестного внимания (CCA) кодирует структурные особенности, которые можно использовать для взаимного улучшения в каждой подсказке глубины, чтобы получить улучшенные характеристики ${\widetilde{Ф}}_{},{\widetilde{Ф}}_{}$. После соединения функций функция слияния ${\widetilde{Ф}}_{}$, и используйте остаточное соединение j для преобразования ${\widetilde{Ф}}_{}$и информацию о первоначальной стоимости тела ${Ф}_{}$комбинировать

$$Ф"="с{\widetilde{Ф}}_{}\uparrow +{Ф}_{}.$$

где ${Ф}_{}$代表${С}_{мон},{С}_{мульт}$Признаки, обработанные мелкой СНС после соединения, $\gamma$ — обучаемый параметр. Мы сплавим функцию$F$ вводится в сеть оценки глубины (модуль глубины) для получения окончательной оценки глубины${Д}_{}$。

Механизм перекрестного внимания

Являясь ключевой частью модуля слияния перекрестных сигналов, перекрестное внимание (CCA) имеет две параллельные ветви для улучшения многокадровых и однокадровых функций соответственно. Для простоты мы используем ${\widetilde{Ф}}_{}"="{ОСО}_{}\left({Ф}_{},{Ф}_{}\right)$ в качестве примера для иллюстрации процесса метода.

Для заданного одиночного и многокадрового признака ${Ф}_{},{Ф}_{}е{р}^{h\times w\times M}$ , используйте свертку для преобразования${Ф}_{}$Преобразование в функцию запроса ${Вопрос}_{}$и ключевая особенность ${К}_{}$, а ${Ф}_{}$Преобразование в объект значения ${В}_{}$. Мы используем Q mono Q_{\text{mono}}, закодированное из однокадровых сигналов.${Вопрос}_{}$和${К}_{}$Вычислите внутренние относительные веса внимания ${р}_{}$, который строит относительные структурные отношения в пределах одной метки глубины кадра

$${р}_{}"="\mathrm{Софтмакс}\left(Q_{}\otimes {К}_{\text{мононуклеоз }}^{}\right),$$

Затем мы передаем информацию об относительных структурных отношениях в однокадровых сигналах в ${В}_{}$Многокадровые функции, представленные расширенным ${\widetilde{Ф}}_{}$
$${\widetilde{Ф}}_{}"="{р}_{}\otimes {В}_{}.Использование$$
многокадровых функций для улучшения однокадровых функций также следует аналогичному методу расчета${\widetilde{Ф}}_{}"="{\mathrm{ОСО}}_{}\left({Ф}_{},{Ф}_{}\right)$。

Визуализация информации о внутренней структуре одного кадра ($R_{\text {mono}}$) и информации о внутренней структуре нескольких кадров ($R_{\text {mono}}$) динамических областей (красные точки)

Регионально-селективные свойства CCA в поперечном армировании

Мы обнаружили, что механизм перекрестного внимания (CCA) может выборочно передавать структурную информацию, которая полезна для улучшения друг друга в одиночных/многокадровых сигналах обучаемым способом, что позволяет избежать введения явных методов динамической сегментации объектов . Как показано на рисунке выше, мы проводим перекрестные карты внимания R mono , R multi R _ {\ text {mono}}, R _ {\ text {multi}} в точках выборки динамической области (красные точки в столбце 1 )${р}_{},{р}_{}$Визуализация, которая показывает распределение структурной информации, полученной сетью , что помогает улучшить друг друга в каждом сигнале глубины. в

• Информация, передаваемая однокадровыми сигналами (столбец 2), сосредоточена вокруг динамической области , указывая на то, что сеть может получать полезную информацию из однокадровых сигналов в динамической области, а затем передавать ее многокадровым сигналам.
• Однако информация, передаваемая многокадровыми сигналами (столбец 3), распределяется в более широкой статической области , указывая на то, что сеть может получать полезную информацию от многокадровых сигналов в статических областях, а затем передавать ее однокадровым сигналам.

Регионально-избирательный характер передачи информации CCA при различных сигналах глубины демонстрирует его потенциал для высокоточной оценки глубины без необходимости динамической сегментации области, что позволяет избежать введения дополнительных механизмов сегментации.

Результаты эксперимента

КИТТИ результаты

Результаты оценки набора данных одометрии KITTI

KITTI Результаты визуализации набора данных одометрии

Как показано выше, в документе KITTI Odometryсравниваются наборы данных и показывается общая точность и точность динамической области многокадровых динамических сцен соответственно. По сравнению с предыдущим оптимальным методом динамическая погрешность этого метода значительно снижена более чем на 21% (Abs.Rel 0,141 $\rightarrow $ 0,111), и в то же время достигается наилучшая глобальная точность оценки глубины. Результаты визуализации показывают, что метод может значительно уменьшить ошибку оценки глубины в динамических областях и может реконструировать трехмерное облако точек, которое более соответствует структуре динамических объектов.

Сравнение обобщения наборов данных

Оценка обобщения набора данных DDAD

KITTIОбученная модель тестируется на наборе DDADданных.Экспериментальные результаты показывают, что бумага может достичь той же общей точности обобщения, что и текущий лучший метод, и в то же время добиться лучшей производительности обобщения, чем текущий усовершенствованный метод с точки зрения точности динамического объекта. .

Улучшение возможностей и оценка масштабируемости по сравнению с одним кадром

Улучшение динамических объектов по сравнению с однокадровой оценкой и оценкой масштабируемости модели

В предыдущих методах точность оценки одного кадра была важным фактором, ограничивающим влияние динамических областей. В статье показано улучшение производительности различных методов по сравнению с их соответствующими однокадровыми сетями в области динамического объекта . Погрешность оценки бумаги в динамической области в 21,81 21,81 меньше, чем погрешность оценки ее однокадровой ветви.$\mathrm{21,81}$ %, что значительно лучше других методов (строки 1-3 вышеприведенной таблицы). В то же время, в случае применения более качественной однокадровой сети оценки, в статье достигается такое же улучшение за счет лучшей однокадровой производительности (строки 3-4 в приведенной выше таблице), что демонстрирует ее гибкость и масштабируемость.

Подведем итог

В этой статье предлагается новый метод многокадровой оценки глубины динамических сцен. Благодаря лучшему объединению одиночных/многокадровых сигналов глубины и улучшению друг друга достигается высокоточная оценка глубины динамической области без сегментации движения . Эксперименты доказывают, что этот метод обеспечивает лучший общий/динамический эффект оценки глубины области и обладает хорошей универсальностью и масштабируемостью.