[Tendencia de frontera de inteligencia artificial] —— Serie SAM: Juega con SAM (Segment Anything)

Juega SAM (segmentar cualquier cosa)

Enlace del sitio web oficial:

Segmentar cualquier cosa | Meta AI (segment-anything.com)

enlace github:

facebookresearch/segment-anything: el repositorio proporciona código para ejecutar la inferencia con el modelo SegmentAnything (SAM), enlaces para descargar los puntos de control del modelo entrenado y cuadernos de ejemplo que muestran cómo usar el modelo. (github.com)

Enlace de papel:

[ 2304.02643] Segmentar cualquier cosa (arxiv.org)

Enlace del conjunto de datos:

Segmentar cualquier cosa | Meta AI (segment-anything.com)

Enlace de demostración en línea:

Segmentar cualquier cosa | Meta AI (segment-anything.com)

¿El surgimiento de SAM indica la desolación de la industria tradicional de CV? Con la aparición de productos como Chatgpt y modelos de difusión, la ingeniería rápida , AIGC , etc. se han convertido en temas muy candentes en la actualidad. Dividiendo todo, el modelo SAM entrenado por Facebook utilizando un gran conjunto de datos ha tenido un gran impacto en el campo de CV, lo que hace que la ingeniería rápida también se desarrolle y aplique en el campo de CV, lo que también ha inspirado a muchos de nuestros investigadores de visión por computadora. podemos realizar modelos rápidos para varios tipos de tareas de visión de escena, e incluso el último modelo grande que unifica el paradigma visual está cada vez más cerca de nosotros. Del mismo modo, también nos preocupa que la inteligencia artificial parece estar yendo cada vez más lejos en el uso de big data para el aprendizaje supervisado de paradigma fijo, y se está alejando cada vez más del futuro real de la inteligencia artificial: el aprendizaje espontáneo no supervisado. Pero no hablaremos de esto aquí, ¡experimentemos el delicioso SAM!

1. Juega en línea

Si solo quiere jugar un par de veces, puede hacer clic en el enlace de demostración en línea que se encuentra arriba y comenzar a navegar.

El enlace de demostración del sitio web oficial ofrece tres métodos de sugerencias: punto, cuadro y segmentación completa.

2. Llamadas a la API

Si no desea limitarse a la demostración en línea, pero desea llamar a la interfaz api de SAM para realizar sus diversas ideas y necesidades, y llevar a cabo un desarrollo secundario, etc., ¡simplemente presione para comenzar!

2.1 Instalar y configurar el entorno SAM

# 安装相关依赖
pip install opencv-python pycocotools matplotlib onnxruntime onnx

安装SAM
方法一：
pip install git+https://github.com/facebookresearch/segment-anything.git

方法二：
git clone [email protected]:facebookresearch/segment-anything.git
cd segment-anything; pip install -e .

2.2 Instrucciones de funcionamiento

Primero descargue un modelo de punto de control. La máscara se puede obtener a partir de una pista dada con solo unas pocas líneas de código:

from segment_anything import SamPredictor, sam_model_registry
sam = sam_model_registry["<model_type>"](checkpoint="<path/to/checkpoint>")
predictor = SamPredictor(sam)
predictor.set_image(<your_image>)
masks, _, _ = predictor.predict(<input_prompts>)

O genera una máscara para toda la imagen:

from segment_anything import SamAutomaticMaskGenerator, sam_model_registry
sam = sam_model_registry["<model_type>"](checkpoint="<path/to/checkpoint>")
mask_generator = SamAutomaticMaskGenerator(sam)
masks = mask_generator.generate(<your_image>)

Además, la máscara de la imagen también se puede generar usando la línea de comando:

python scripts/amg.py --checkpoint <path/to/checkpoint> --model-type <model_type> --input <image_or_folder> --output <path/to/output>

Nota: ¡En artículos posteriores, explicaremos el funcionamiento de la interfaz SAM con más detalle!