Каталог статей
Мультимодальная МРТ-сегментация опухолей головного мозга на основе AD-Net
Краткое содержание
Мультимодальные изображения глиомы, полученные с помощью магнитно-резонансной томографии (МРТ), предоставляют различные особенности границ опухоли, при этом извлечение мультимодальных признаков часто является сложной задачей для методов сегментации глубокого обучения. Взаимодействие между различными модальными характеристиками является важным фактором, ограничивающим мультимодальное обучение. Чтобы эффективно извлекать мультимодальные функции, мы предлагаем автоматически взвешенную расширенную сверточную сеть (AD-Net) для изучения функций мультимодальной опухоли головного мозга посредством обучения разделению функций каналов.
Среди них модуль самовзвешенной расширенной свертки (AD-модуль) использует сопоставление функций свертки двойного масштаба для получения функций разделения каналов. Мы принимаем два обучаемых параметра на уровне кодирования, чтобы объединить двухмасштабные сверточные карты признаков и автоматически корректировать два обучаемых параметра по мере обратного распространения градиента. Мы используем расхождение Дженсена-Шеннона, чтобы ограничить распределение его карт признаков, а затем упорядочиваем вес всей понижающей выборки. Кроме того, мы используем методы глубокого обучения под наблюдением для достижения быстрой адаптации. Предлагаемый нами метод достигает баллов 0,90, 0,80 и 0,76 в наборе данных BraTS20 для всей опухоли (WT), ядра опухоли (TC) и увеличенной опухоли (ET) соответственно. Результаты экспериментов показывают, что алгоритм имеет хорошую производительность в сети AD-Net.
Методы этой статьи
Эта статья основана на слиянии входных данных
функция потерь
Результаты эксперимента
max-vit - unet: многоосная сегментация медицинских изображений
Краткое содержание
За последние годы сверточные нейронные сети (CNN) добились значительного прогресса в анализе медицинских изображений. Однако локальный характер операторов свертки может налагать ограничения на захват глобальных и дальних взаимодействий в CNN. В последнее время трансформаторы широко используются в области компьютерного зрения и сегментации медицинских изображений благодаря их способности эффективно обрабатывать глобальные функции. Проблемы масштабируемости с механизмами самообслуживания и отсутствие индуктивного смещения, подобного CNN, могут ограничить их внедрение. Поэтому гибридные визуальные преобразователи (CNN-трансформеры), использующие преимущества механизмов свертки и самообслуживания, становятся все более важными.
В этой работе мы предлагаем maxviti-unet, гибридный визуальный преобразователь на основе кодера-декодера (CNN-Transformer) для сегментации медицинских изображений.
Предлагаемый гибридный декодер, основанный на maxviti-блоке, предназначен для использования возможностей механизмов свертки и самообслуживания с небольшой вычислительной нагрузкой на каждом этапе декодирования.
Добавление многоосного самообслуживания на каждый этап декодирования значительно улучшает способность различать целевые и фоновые области, тем самым помогая повысить эффективность сегментации.
В блоке гибридного декодера процесс объединения начинается с интеграции функций декодера низкого уровня с повышающей дискретизацией, полученных путем транспонированной свертки, с функциями пропускания соединения, полученными от гибридного кодера.
Впоследствии объединенные функции уточняются с использованием многоосного механизма внимания. Предложенный блок декодера повторяется несколько раз, чтобы шаг за шагом сегментировать основную область. Экспериментальные результаты на наборах данных MoNuSeg18 и MoNuSAC20 демонстрируют эффективность этого метода. Наш maxviti-UNet имеет значительные преимущества по сравнению с предыдущими методами на основе CNN (UNet) и преобразователей (swan-UNet) для обоих стандартных наборов данных. кодовый адрес
Методы этой статьи
Результаты эксперимента
