Метод предварительной подготовки диффузии декодера для семантической сегментации

Оглавление

• предисловие

• Обзор метода DPSS

• ДеП и ДДеП

  • базовая структура сети
  • функция потерь
  • расширение диффузии

• эксперимент

• Подведем итог

• ссылка

Эта статья была впервые опубликована на GiantPandaCV и не может быть воспроизведена без разрешения! !

предисловие

Особенно распространенная проблема в текущей задаче семантической сегментации заключается в том, что стоимость и время сбора достоверной информации очень высоки, поэтому будет использоваться предварительное обучение. Например, контролируемая классификация или самоконтролируемое извлечение признаков, обычно используемые для обучения основы модели. Исходя из этой проблемы, метод, представленный в этой статье, называется предварительным обучением декодера с шумоподавлением (DDeP), как показано на рисунке ниже.

Подобно стандартному шумоподавляющему автоэнкодеру, сеть обучена шумоподавлению входных изображений с шумом. Однако кодер предварительно обучен и заморожен с помощью обучения с учителем, и только параметры декодера оптимизируются с использованием цели шумоподавления. Кроме того, при наличии шума на входе декодер обучается прогнозировать шум, а не напрямую прогнозировать чистое изображение, что также встречается чаще.

Обзор метода DPSS

Статья, представленная на этот раз, называется Предварительная подготовка к шумоподавлению для семантической сегментации, Для удобства следующий текст будет сокращен как DPSS. DPSS использует U-Net на базе Transformer в качестве собственного шумоподавителя.