El modelo de segmentación semántica SAM es de código abierto. En la era de AIGC, las herramientas de matización de imágenes están unificadas por el gran modelo. (Abajo)

¡Hola a todos, soy Spirited Away y estoy muy feliz de compartir mi experiencia de aprendizaje en ChatGPT con ustedes nuevamente hoy!

Esta vez es "Modelo de segmentación semántica SAM de código abierto, era AIGC, ¿las herramientas de matización de imágenes están unificadas por modelos grandes? "La versión final de la serie.

En las dos secciones anteriores, presentamos el modelo Segmentar cualquier cosa para segmentar todo y el modelo Segmentar y rastrear cualquier cosa para segmentar videos. ¡Solo se puede decir que el modelo de segmentación SAM ha mejorado demasiado rápido!

No me digas el nombre del proyecto que traigo hoy, si te dieran un modelo de algoritmo de segmentación de imágenes para matting, ¿cómo lo optimizarías?

1. Optimización de los escenarios de aplicación del modelo

En primer lugar, lo más fácil de pensar es cambiar el escenario de la aplicación de imagen a video, y luego nació el modelo Segment-and-Track Anything de la novela.

Optimizar desde el escenario de la aplicación es un punto de optimización, entonces, ¿qué otros puntos innovadores de optimización existen?

2. Optimizar la estructura del propio modelo

Por supuesto, el modelo en sí! Entonces es el proyecto de hoy. Con la continua popularización de la tecnología 5G, también tenemos altos requisitos de velocidad informática, por lo que el proyecto de hoy es comprimir y aligerar el modelo.

1. El nacimiento del modelo MobileSAM

Creo que todos todavía recuerdan el modelo grande donde usamos SAM para dividir todo.La siguiente es la página de inicio del sitio web de implementación de demostración.

En segundo lugar, la estructura del modelo MobileSAM

El modelo SAM original consta principalmente de dos partes, un codificador de imagen y un decodificador de máscara guiado por aviso.

Entre ellos, el codificador de imagen usa vit, los parámetros del modelo son muy grandes, el modelo es relativamente grande y el modelo vit-h tiene 632M;

La segunda parte es muy liviana, incluye un decodificador de máscara y un codificador rápido, con menos parámetros de modelo, no más de 4M.

3. Despliegue del modelo MobileSAM

La diferencia entre el modelo de segmentación de MobileSAM y SAM es que mobileSAM se puede implementar en la CPU;

Debido al gran tamaño del modelo, el modelo SAM solo se puede implementar en el servidor GPU en la nube. Implementamos el modelo MobileSAM en una PC local.

1. Conda crea un nuevo entorno llamado "mobileSAM", versión Python 3.8

（还包含PyTorch 1.7及以上版本和Torchvision 0.8及以上版本）

conda create -n mobileSAM python=3.8

2.激活创建的模型环境

conda activate mobileSAM

3.安装完成后，我们检查你的环境中的Python，PyTorch和Torchvision的版本，你可以使用以下命令：

python --version
python -c "import torch; print(torch.__version__)"
python -c "import torchvision; print(torchvision.__version__)"

4.安装Mobile Segment Anything的依赖:

pip install git+https://github.com/ChaoningZhang/MobileSAM.git

5.本地运行mobileSAM模型

cd app
python app.py

6.安装最新版本的gradio与timm安装包

pip3 install gradio timm

7.修改部分代码，进行服务链接部署

运行项目是部署于Google colab的云端实验室，使用gradio安装包进行快速web UI应用的搭建，创建部署调用的界面。

    def clear():
        return None, None

    def clear_text():
        return None, None, None

    # clear_btn_e.click(clear, outputs=[cond_img_e, segm_img_e])
    clear_btn_p.click(clear, outputs=[cond_img_p, segm_img_p])

demo.queue()
#设置share=True，将部署的demo网页链接设置为公网访问
demo.launch(share=True)

终端输出日志效果：