请参考之前的博客链接：
https://blog.csdn.net/Helloorld_1/article/details/130107465?spm=1001.2014.3001.5502
如何实现裁剪图片。
本文主要是讲述如何利用SAM（Segment Anything）将裁剪下来的图片进行融合
效果如下图所示：
利用sam抠出图像，然后将图像与想要作为背景的图像进行融合，从而实现万物皆可抠图。
灵感来自于这位博客：
使用Segment Anything(SAM)模型进行自动标注_咚咚锵咚咚锵的博客-CSDN博客
然后具体配置环境如上述博客内容所讲，这里我放上自己融合图片的代码供大家参考：
import cv2
import numpy as np
img1 = cv2.imread('output.jpg')#前景图像
img2 = cv2.imread('2.jpg')#背景图像
rows, cols = img1.shape[:2]#图像尺寸大小
img2=cv2.resize(img2, (cols, rows)) # 裁剪背景图像到合适的大小
mask=cv2.imread('s.jpg')#蒙版图像
imgray = cv2.cvtColor(img1, cv2.COLOR_BGR2GRAY)
ret, thresh = cv2.threshold(imgray, 127, 255, 0)
# 根据轮廓信息提取掩模
for i in range(rows):
for j in range(cols):
if mask[i,j].sum() >20:
img2[i,j]=[0,0,0]
img_mix = cv2.addWeighted(img2,1,img1,1,0)#融合图像
# img_mix=img1+img2
# cv2.imshow('mask',mask)
# cv2.imshow('img1', img1)
# cv2.imshow('img2', img2)
cv2.imshow('img_mix', img_mix)
cv2.waitKey(0)
cv2.destroyAllWindows()另外针对上述博客中的标注为json文件，转化为txt文件信息供标注工具labelimg使用
代码如下：
# 处理同一个数据集下多个json文件时，仅运行一次class_txt即可
import json
import os
import cv2
"存储标签与预测框到txt文件中"
def json_txt(json_path, txt_path):
"json_path: 需要处理的json文件的路径"
"txt_path: 将json文件处理后txt文件存放的文件夹名"
# 生成存放json文件的路径
if not os.path.exists(txt_path):
os.mkdir(txt_path)
# 读取json文件
with open(json_path, 'r') as f:
dict = json.load(f)
# 得到images和annotations信息
images_value = dict.get("categories") # 得到某个键下对应的值
annotations_value = dict.get("annotations") # 得到某个键下对应的值
# 使用images下的图像名的id创建txt文件
list=[] # 将文件id存储在list中
filename="a"
img_size = dict.get("images") # 得到某个键下对应的值
numh = 1
numw = 1
for z in img_size:
numh=z.get('height')
numw=z.get('width')
for i in images_value:
open(txt_path + str(i.get("name")) + '.txt', 'w')
list.append(i.get("id"))
filename=txt_path + str(i.get("name")) + '.txt'
imgSize = [numw, numh]
# 将id对应图片的bbox写入txt文件中
for i in list:
for j in annotations_value:
if j.get("image_id") == i:
# bbox标签归一化处理
ori_coords = j.get('bbox')# [x,y,w,h]获取检测框
# print((ori_coords))
leftup = [round((x + ori_coords[i + 2] / 2) / imgSize[i],6) for i, x in enumerate(ori_coords[:2])]
wh = [round(x / imgSize[i],6) for i, x in enumerate(ori_coords[2:])]
coord = [leftup[0], leftup[1], wh[0], wh[1]] # 最终坐标
with open(filename, 'a') as file1: # 写入txt文件中
print(j.get("category_id"), coord[0], coord[1], coord[2], coord[3], file=file1)
"将id对应的标签存储在class.txt中"
def class_txt(json_path, class_txt_path):
"json_path: 需要处理的json文件的路径"
"txt_path: 将json文件处理后存放所需的txt文件名"
# 生成存放json文件的路径
with open(json_path, 'r') as f:
dict = json.load(f)
# 得到categories下对应的信息
categories_value = dict.get("categories") # 得到某个键下对应的值
print(categories_value)
# 将每个类别id与类别写入txt文件中
with open(class_txt_path, 'a') as file0:
for i in categories_value:
print( i.get('name'), file=file0)
json_txt("./json/annotations.json", "txt_label/")#自己在当前目录下，创建一个txt_label文件夹
class_txt("./json/annotations.json", "txt_label/classes.txt")根据大家的需要，我就将工程文件放到下面的链接里面了，需要的可以自取哈：
基于SAM和别人的UI进行的万能抠图魔改（仅供交流学习）资源-CSDN文库
由于上传文件不能超过1G，所以压缩包里面没有vit-h文件，如果要运行，还请再下载一个
将该文件放到segment_anything_annotator.py在同一目录即可。
环境配置，我已经将我的环境导出成environment.yaml文件
anconda里面只需要使用以下指令，即可快速创建环境
conda activate base #先激活环境
conda env create -f environment.yaml #复制环境，注意目录哟！然后就只需要运行segment_anything_annotator.py即可
另外在这里说明一哈里面的文件夹：
.idea是pycharm生成的，不用管
images是如果你要使用自己的图片进行分割，就将图片放到里面去就行。
json文件是参考博主里面有描述，这里就不过多说明了
salt就是精华所在了，包括分割，UI界面，融合图像的.py就在里面了
txt_label和transformer是我想将参考博主，文件的json数据格式转化为txt数据格式而弄的，跟分割没关系！！！
还有问题可以评论区留言。