YOLOv8最新改进系列:YOLOv8+ICCV 2023 - 动态蛇形卷积(Dynamic Snake Convolution)采用管状结构,拉升模型小目标、遮挡目标检测效果!

YOLOv8最新改进系列

动态蛇形卷积(Dynamic Snake Convolution)提出的论文戳这

详细的改进教程以及源码,戳这!戳这!!戳这!!!B站:AI学术叫叫兽 源码在相簿的链接中,动态中也有链接,感谢支持!祝科研遥遥领先!

截止到发稿时,B站YOLOv8最新改进系列的源码包,已更新了30种+损失函数的改进!自己排列组合2-4种后,不考虑位置已达6万3千8百余种!!!考虑位置不同后可排列上百万种!!
专注AI学术,关注B站博主:AI学术叫叫兽!

YOLOv8最新改进系列:YOLOv8+ICCV 2023 - 动态蛇形卷积(Dynamic Snake Convolution)采用管状结构,拉升模型小目标、遮挡目标检测效果!!!


一、动态蛇形卷积概述

1.1 RepViT文章简介

管状结构(例如血管、道路)是临床、自然界等各领域场景中十分重要的一种结构,其的精确分割可以保证下游任务的准确性与效率。然而这并不是一个简单的任务,主要的挑战源于细长微弱的局部结构特征与复杂多变的全局形态特征。
本文关注到管状结构细长连续的特点,并利用这一信息在神经网络以下三个阶段同时增强感知:特征提取、特征融合和损失约束。分别设计了动态蛇形卷积(Dynamic Snake Convolution),多视角特征融合策略与连续性拓扑约束损失。我们同时给出了基于 2D 和 3D 的方法设计,通过实验证明了本文所提出的 DSCNet 在管状结构分割任务上提供了更好的精度和连续性

1.2 思考

在开始介绍工作之前,我想和读者讨论下在大模型时代下,专用分割方法的价值。

随着SAM(Segment Anything)[1]、Universal Model [2] 等一众非常优秀的分割基础模型的提出,越来越多的分割目标只需要在大模型的基础上,直接测试或简单微调,就能够得到让人十分满意的结果。这不免让人感到迷茫,继续做专用分割工作是否还有价值?后续的研究方向是否是要去拼大模型?或者站在前人的肩膀上去研究如何将大模型微调到专用领域?专注AI学术,关注B站博主:AI学术叫叫兽
值得注意的是,仍存在一些复杂的领域,大模型还未能够很好的覆盖(也许只是时间问题)。例如伪装目标、非显著性目标,以及本文所关注的特殊管状结构(占比小、特征弱且分布广)等等。同时,当分割的对象上升到3D乃至4D的数据时,一些复杂的结构(3D的血管、气管等)也困扰着大模型。当然,一些特殊的场景,需要非常高的精度,例如临床,1%的误差对于诊断都有着非常大的危险。
专注AI学术,关注B站博主:AI学术叫叫兽
因此,将专用模型与大模型相结合,会促进研究发展地更快、更好。大模型关注更多的是普适性,通用性和便捷性,在此基础上,大模型针对性地补充领域专有的特征信息,能够更加快捷地获得更高的精度。

1.3 动机

受到Deformable Convolution的启发,我们希望模型在学习特征的过程中,改变卷积核的形状,从而关注管状结构的核心结构特点。由此衍生出很多工作,并在视网膜血管的分割工作中得到了应用。然而在我们的初期实验中发现,由于管状结构所占比例较小,模型不可避免地失去对相应结构的感知,卷积核完全游离在目标以外。因此我们希望根据管状结构的特点来设计特定的网络结构,从而指导模型关注关键特征。

1.4 实验

该实验部分请详细阅读原文!
在此不一一呈现!
更多信息关注B站博主:AI学术叫叫兽!

1.5 概要

私たちが提案するフレームワークは、細長い管状構造に合わせて設計されており、形態学的特徴とトポロジカルな知識をうまく統合して、モデル適応セグメンテーションを共同でガイドします。ただし、他の形態学的に構造化されたターゲットも同様のパラダイムを持ち、このアプローチを通じてより優れたパフォーマンスを達成できるかどうかは、依然として興味深いトピックです。同時に、基本的な大規模モデルの一般的なフレームワークとして使用でき、特性を特定することが難しい構造に対して実現可能なパラダイムを提供できるよう、さらなる最適化も試みています。

2. チュートリアルを改善する

2.1 YAMLファイルの変更

詳細な改善チュートリアルとソース コードについては、ここをクリックしてください。ここをクリック!ここをクリック!B局:AI学術ビーストのソースコードはアルバム内のリンクにあり、ニュースにもリンクがありますのでよろしくお願いします!科学研究がさらに前進しますように!

2.2 新しいpyを作成する

詳細な改善チュートリアルとソース コードについては、ここをクリックしてください。ここをクリック!ここをクリック!B局:AI学術ビーストのソースコードはアルバム内のリンクにあり、ニュースにもリンクがありますのでよろしくお願いします!科学研究がさらに前進しますように!

2.3 task.py を変更する

詳細な改善チュートリアルとソース コードについては、ここをクリックしてください。ここをクリック!ここをクリック!B局:AI学術ビーストのソースコードはアルバム内のリンクにあり、ニュースにもリンクがありますのでよろしくお願いします!科学研究がさらに前進しますように!

4. 成功したかどうかを確認する

注文の実行

python train.py

変更が完了したので、これで終わりです。
ステーション B に注目してください。AI 学者は野獣と呼ばれ、他の研究者よりはるかに先んじ
て科学研究の高速道を歩み始めています。

詳細な改善チュートリアルとソース コードについては、ここをクリックしてください。ここをクリック!ここをクリック!B局:AI学術ビーストのソースコードはアルバム内のリンクにあり、ニュースにもリンクがありますのでよろしくお願いします!科学研究がさらに前進しますように!

Guess you like

Origin blog.csdn.net/weixin_51692073/article/details/133250882