SAM セマンティックセグメンテーションモデルはオープンソースですが、AIGC の時代では画像マッティングツールは大きなモデルで統一されているのでしょうか。（下）

みなさん、こんにちは。私は千と千尋の神隠しです。今日も ChatGPT での学習体験を皆さんと共有できることをとてもうれしく思います。

今回は「SAMセマンティックセグメンテーションモデルオープンソース、AIGC時代、画像マッティングツールは大規模モデルで統一？」です。「シリーズ最終版。

前の 2 つのセクションでは、すべてをセグメント化するための Segment Anything モデルと、ビデオをセグメント化するための Segment-and-Track Anything モデルを紹介しました。SAM セグメンテーションモデルの改善が早すぎるとしか言えません。

今日持ち込まれたプロジェクトの名前は言わないでください。マット化のための画像セグメンテーションアルゴリズムモデルが与えられたとしたら、どのように最適化しますか?

1. モデルの適用シナリオの最適化

まず、最も簡単に考えられるのは、アプリケーションシナリオを画像からビデオに変更することであり、その後、小説のセグメントアンドトラックモデルが誕生しました。

アプリケーションシナリオからの最適化は最適化のポイントですが、他にどのような革新的な最適化ポイントがあるでしょうか?

2. モデル自体の構造を最適化する

もちろんモデルそのものも！それから今日のプロジェクトです 5G テクノロジーの継続的な普及に伴い、コンピューティング速度に対する要求も高まっているため、今日のプロジェクトはモデルを圧縮して軽量化することです。

1. MobileSAMモデルの誕生

SAM を使用してすべてを分割した大規模なモデルはまだ皆さん覚えていると思いますが、以下はデモ展開 Web サイトのホームページです。

第二に、MobileSAM モデルの構造

オリジナルの SAM モデルは主に、イメージエンコーダーとプロンプトガイド付きマスクデコーダーの 2 つの部分で構成されます。

その中で、画像エンコーダは vit を使用し、モデルパラメータは非常に大きく、モデルは比較的大きく、vit-h モデルは 632M です。

2 番目の部分はマスクデコーダーとプロンプトエンコーダーを含む非常に軽量で、モデルパラメーターが少なく、4M 以下です。

3. MobileSAM モデルの導入

MobileSAM のセグメンテーションモデルと SAM の違いは、mobileSAM は CPU 上に展開できることです。

モデルのサイズが大きいため、SAM モデルはクラウドの GPU サーバーにのみデプロイできます。MobileSAM モデルをローカル PC に展開します。

1. Conda は、Python 3.8 バージョンの「mobileSAM」という名前の新しい環境を作成します

（还包含PyTorch 1.7及以上版本和Torchvision 0.8及以上版本）

conda create -n mobileSAM python=3.8

2.激活创建的模型环境

conda activate mobileSAM

3.安装完成后，我们检查你的环境中的Python，PyTorch和Torchvision的版本，你可以使用以下命令：

python --version
python -c "import torch; print(torch.__version__)"
python -c "import torchvision; print(torchvision.__version__)"

4.安装Mobile Segment Anything的依赖:

pip install git+https://github.com/ChaoningZhang/MobileSAM.git

5.本地运行mobileSAM模型

cd app
python app.py

6.安装最新版本的gradio与timm安装包

pip3 install gradio timm

7.修改部分代码，进行服务链接部署

运行项目是部署于Google colab的云端实验室，使用gradio安装包进行快速web UI应用的搭建，创建部署调用的界面。

    def clear():
        return None, None

    def clear_text():
        return None, None, None

    # clear_btn_e.click(clear, outputs=[cond_img_e, segm_img_e])
    clear_btn_p.click(clear, outputs=[cond_img_p, segm_img_p])

demo.queue()
#设置share=True，将部署的demo网页链接设置为公网访问
demo.launch(share=True)

终端输出日志效果：