Reproduzir SAM (segmentar qualquer coisa)
Link do site oficial:
Segmentar qualquer coisa | Meta AI (segment-anything.com)
link github:
Link do papel:
[ 2304.02643] Segmentar qualquer coisa (arxiv.org)
Link do conjunto de dados:
Segmentar qualquer coisa | Meta AI (segment-anything.com)
Link de demonstração on-line:
Segmentar qualquer coisa | Meta AI (segment-anything.com)
O surgimento do SAM indica a desolação da indústria tradicional de currículos? Com o surgimento de produtos como Chatgpt e modelos de difusão, engenharia de prompt , AIGC , etc., tornaram-se tópicos super quentes hoje. Dividindo tudo, o modelo SAM treinado pelo Facebook usando um grande conjunto de dados trouxe um grande impacto para a área de CV, tornando a engenharia imediata a engenharia imediata também desenvolvida e aplicada na área de CV, que também inspirou muitos de nossos pesquisadores de visão computacional. podemos realizar modelos imediatos para vários tipos de tarefas de visão de cena, e até mesmo o grande modelo final que unifica o paradigma visual está se aproximando cada vez mais de nós. Da mesma forma, também nos preocupa que a inteligência artificial pareça estar indo cada vez mais longe no uso de big data para aprendizado supervisionado de paradigma fixo, e está se afastando cada vez mais do futuro real do aprendizado não supervisionado espontâneo de inteligência artificial. Mas não vamos falar deles aqui, vamos experimentar o delicioso SAM!
1. Jogue online
Se você quiser jogar apenas algumas vezes, clique no link de demonstração online acima e comece a navegar!
O link de demonstração do site oficial fornece três métodos de dicas: segmentação de ponto, caixa e completa.
2. Chamada de API
Se você não quiser se limitar à demonstração online, mas quiser chamar a interface API do SAM para realizar suas várias ideias e necessidades, realizar desenvolvimento secundário, etc., basta pressionar-nos para começar!
2.1 Instalar e configurar o ambiente SAM
# 安装相关依赖
pip install opencv-python pycocotools matplotlib onnxruntime onnx
安装SAM
方法一：
pip install git+https://github.com/facebookresearch/segment-anything.git
方法二：
git clone [email protected]:facebookresearch/segment-anything.git
cd segment-anything; pip install -e .
2.2 Instruções de operação
Primeiro baixe um ponto de verificação modelo. A máscara pode então ser obtida a partir de uma determinada dica com apenas algumas linhas de código:
from segment_anything import SamPredictor, sam_model_registry
sam = sam_model_registry["<model_type>"](checkpoint="<path/to/checkpoint>")
predictor = SamPredictor(sam)
predictor.set_image(<your_image>)
masks, _, _ = predictor.predict(<input_prompts>)
Ou gere uma máscara para toda a imagem:
from segment_anything import SamAutomaticMaskGenerator, sam_model_registry
sam = sam_model_registry["<model_type>"](checkpoint="<path/to/checkpoint>")
mask_generator = SamAutomaticMaskGenerator(sam)
masks = mask_generator.generate(<your_image>)
Além disso, a máscara da imagem também pode ser gerada usando a linha de comando:
python scripts/amg.py --checkpoint <path/to/checkpoint> --model-type <model_type> --input <image_or_folder> --output <path/to/output>
Observação: Nos próximos artigos, explicaremos com mais detalhes o funcionamento da interface SAM!