【论文】LearningDepth из одиночных монокулярных изображений

2005 НИПС

В статье используются Марковские случайные поля (Markov Random Fields, MRF) для прямой оценки информации о глубине изображения по одному изображению.
В отличие от входных данных RGBD, в статье используются данные YCbCr + данные глубины.
Цель использования MRF — объединить локальную и глобальную информацию на одной карте.

извлечение признаков

Использование ядра свертки

Чтобы извлечь текстовую информацию, автор использовал 15 сверток и применил их к каналу Y (каналу интенсивности) YCbCr, а также использовал первое ядро ​​свертки по маске Лоуза (вычисленное среднее значение) для двух цветовых каналов, так что всего 17 вектор признаков. При этом для расчета используется абсолютная энергия и сумма квадратов энергии, поэтому всего имеется 34 собственных вектора.
Среди 15 ядер свертки есть 9 масок Лоуза и 6 граничных обнаружений.

Многомасштабное извлечение многомасштабных признаков

Для слияния глобальных признаков автор использует три шкалы. Среди них scale1x — функция с высоким разрешением, а scale9x — функция с низким разрешением. Также рассмотрите четырех соседей вокруг каждого патча. В то же время, учитывая, что такие ландшафты, как деревья, имеют вертикальные черты, колонка, в которой расположен участок, разделена на четыре вертикальных участка. Для каждого патча (C0) объединяются в общей сложности 3*5+4=19 функций патчей.

Учитывая 34 вектора признаков, для каждого патча вычисляется всего 19*34.

относительная глубина признаков

На приведенном выше изображении рассмотрим два соседних фрагмента x и y и вычислите, принадлежат ли они одному и тому же объекту или разным объектам. Для вывода (абсолютного) 17 фильтров используется квантование гистограммы 10 бинов. Судя по тому, принадлежат ли они одному и тому же объекту из 170 бинов.

Модель

Авторы использовали две модели: гауссовский MRF (1) и лапласианский MRF (2).

Сравните распределение Гаусса, распределение Лапласа

1. Гистограмма относительной глубины признаков представляет собой естественное распределение лапласиана.
2. имеет более широкие хвосты и, следовательно, более устойчив к выбросам и выбросам при оценке глубины.
3. Результаты также показывают, что глубина, оцененная с использованием модели лапласиана, имеет более острые края.

в заключение

извлечение признаков

1. использование функций мультимасштаба и столбцов значительно повышает производительность алгоритма.

Ошибка, вызванная набором данных

1. Некоторые из ошибок могут быть связаны с ошибками или ограничениями обучающей выборки. Например, изображения обучающего набора и карты глубины немного смещены, поэтому края изученной карты глубины не очень четкие.
2. Далее максимальное значение глубин в обучающей выборке 81м; поэтому все удаленные объекты отображаются на одном расстоянии 81 м.