好长时间没有发博客了啊，最近一直在学习yolo相关的，感觉知识博大精深，永无止境啊。
这两天把数据集汇总的时候，发现了很多问题，写个博客分享给友友们。
先说一下具体情况，我是运行yolov5的，数据集为图片和xml文件
一、数据集标签不统一问题
比如上面的标签是 abcdefg，项目需要改成 abc，我有很多个这样的文件，都需要改，手改耗时耗力，所以我找了一个很好用的脚本放在下图。
import os
import xml.etree.ElementTree as ET
#程序功能：批量修改VOC数据集中xml标签文件的标签名称
def changelabelname(inputpath):
listdir = os.listdir(inputpath)
for file in listdir:
if file.endswith('xml'):
file = os.path.join(inputpath,file)
tree = ET.parse(file)
root = tree.getroot()
for object1 in root.findall('object'):
for sku in object1.findall('name'):
if (sku.text == 'abcdefg'): #‘preName’为修改前的名称
sku.text = 'abc' #‘TESTNAME’为修改后的名称
tree.write(file,encoding='utf-8') #写进原始的xml文件并避免原始xml中文字符乱码
else:
pass
else:
pass
if __name__ == '__main__':
inputpath = 'data/annotions/' #此处替换为自己的路径
changelabelname(inputpath)
只要运行一下，就可以遍历所有文件，并且改变标签名。
二、数据集中有中文，报错gbk
当我们将xml转txt划分train、val、test时，有时候会报gbk编码错误，报错如下
这种情况一般都是数据集有中文，需要把数据集的中文删除
扫描二维码关注公众号，回复：
14747381 查看本文章
就如上图所示，folder处的哈哈为中文，当然经我测试，我发现哈哈前面的大括号也会导致gbk报错
此时我们需要用脚本把xml文件中的中文删掉，这里推荐一个简单的方法，直接把全部数据集的 folder 和 path 用没有中文的字母替换掉不就得了，直接上脚本
import xml.dom.minidom
import os
path = 'data/annotions1/' # xml文件存放路径
sv_path = 'data/annotions/' # 修改后的xml文件存放路径
files = os.listdir(path)
cnt = 1 ##从1开始计数，如果要在前面+0，用zfill函数
for xmlFile in files:
dom = xml.dom.minidom.parse(os.path.join(path, xmlFile)) # 打开xml文件，送到dom解析
root = dom.documentElement # 得到文档元素对象
item = root.getElementsByTagName('path') # 获取path这一node名字及相关属性值
item2 = root.getElementsByTagName('folder') # 获取path这一node名字及相关属性值
print(item)
for i in item:
i.firstChild.data = 'C:/Users/11190/Desktop/400/406'+'glass' + str(cnt) + '.jpg' # xml文件对应的图片路径
for i in item2:
i.firstChild.data = 'glass' ##folder
with open(os.path.join(sv_path, xmlFile), 'w') as fh:
dom.writexml(fh)
cnt += 1给大伙看一下更改后的效果
可见 folder 和 path 都已经被替换成了上上图脚本所设定的 glass 和 C:/Users/11190/Desktop/
非常完美
三、推荐一个将xml转txt并划分数据集为train、val、test的脚本
import xml.etree.ElementTree as ET
import os
import shutil
import random
xml_file_path = 'data/annotions/' # 检查和自己的xml文件夹名称是否一致
images_file_path = 'data/source_images/' # 检查和自己的图像文件夹名称是否一致
# 改成自己的类别名称
classes = ["zt", "smt", "bx", "xr"]
# 数据集划分比例，训练集75%，验证集15%，测试集15%
train_percent = 0.78
val_percent = 0.11
test_percent = 0.11
# 此处不要改动，只是创一个临时文件夹
if not os.path.exists('data/temp_labels/'):
os.makedirs('data/temp_labels/')
txt_file_path = 'data/temp_labels/'
def convert(size, box):
dw = 1. / size[0]
dh = 1. / size[1]
x = (box[0] + box[1]) / 2.0
y = (box[2] + box[3]) / 2.0
w = box[1] - box[0]
h = box[3] - box[2]
x = x * dw
w = w * dw
y = y * dh
h = h * dh
return x, y, w, h
def convert_annotations(image_name):
in_file = open(xml_file_path + image_name + '.xml')
out_file = open(txt_file_path + image_name + '.txt', 'w')
tree = ET.parse(in_file)
root = tree.getroot()
size = root.find('size')
w = int(size.find('width').text)
h = int(size.find('height').text)
for obj in root.iter('object'):
# difficult = obj.find('difficult').text
cls = obj.find('name').text
# if cls not in classes or int(difficult) == 1:
# continue
if cls not in classes == 1:
continue
cls_id = classes.index(cls)
xmlbox = obj.find('bndbox')
b = (float(xmlbox.find('xmin').text), float(xmlbox.find('xmax').text),
float(xmlbox.find('ymin').text), float(xmlbox.find('ymax').text))
bb = convert((w, h), b)
out_file.write(str(cls_id) + " " + " ".join([str(a) for a in bb]) + '\n')
total_xml = os.listdir(xml_file_path)
num_xml = len(total_xml) # XML文件总数
for i in range(num_xml):
name = total_xml[i][:-4]
convert_annotations(name)
# *********************************************** #
# parent folder
# --data
# ----images
# ----train
# ----val
# ----test
# ----labels
# ----train
# ----val
# ----test
def create_dir():
if not os.path.exists('data/images/'):
os.makedirs('data/images/')
if not os.path.exists('data/labels/'):
os.makedirs('data/labels/')
if not os.path.exists('data/images/train/'):
os.makedirs('data/images/train')
if not os.path.exists('data/images/val/'):
os.makedirs('data/images/val/')
if not os.path.exists('data/images/test/'):
os.makedirs('data/images/test/')
if not os.path.exists('data/labels/train/'):
os.makedirs('data/labels/train/')
if not os.path.exists('data/labels/val/'):
os.makedirs('data/labels/val/')
if not os.path.exists('data/labels/test/'):
os.makedirs('data/labels/test/')
return
# *********************************************** #
# 读取所有的txt文件
create_dir()
total_txt = os.listdir(txt_file_path)
num_txt = len(total_txt)
list_all_txt = range(num_txt) # 范围 range(0, num)
num_train = int(num_txt * train_percent)
num_val = int(num_txt * val_percent)
num_test = num_txt - num_train - num_val
train = random.sample(list_all_txt, num_train)
# train从list_all_txt取出num_train个元素
# 所以list_all_txt列表只剩下了这些元素：val_test
val_test = [i for i in list_all_txt if not i in train]
# 再从val_test取出num_val个元素，val_test剩下的元素就是test
val = random.sample(val_test, num_val)
# 检查两个列表元素是否有重合的元素
# set_c = set(val_test) & set(val)
# list_c = list(set_c)
# print(list_c)
# print(len(list_c))
print("训练集数目：{}, 验证集数目：{},测试集数目：{}".format(len(train), len(val), len(val_test) - len(val)))
for i in list_all_txt:
name = total_txt[i][:-4]
srcImage = images_file_path + name + '.jpg'
srcLabel = txt_file_path + name + '.txt'
if i in train:
dst_train_Image = 'data/images/train/' + name + '.jpg'
dst_train_Label = 'data/labels/train/' + name + '.txt'
shutil.copyfile(srcImage, dst_train_Image)
shutil.copyfile(srcLabel, dst_train_Label)
elif i in val:
dst_val_Image = 'data/images/val/' + name + '.jpg'
dst_val_Label = 'data/labels/val/' + name + '.txt'
shutil.copyfile(srcImage, dst_val_Image)
shutil.copyfile(srcLabel, dst_val_Label)
else:
dst_test_Image = 'data/images/test/' + name + '.jpg'
dst_test_Label = 'data/labels/test/' + name + '.txt'
shutil.copyfile(srcImage, dst_test_Image)
shutil.copyfile(srcLabel, dst_test_Label)
shutil.rmtree(txt_file_path)
改一下路径，并且设置一下train、val、test的比例就好啦
如果觉得有用的话，麻烦点个关注加点赞嘿嘿！
参考文章：
python 批量修改文件名和图片xml内的path、folder_乱搭巴士的博客-CSDN博客
还有一个文章暂时找不到，等找到我再贴上来