MMDetection框架入门教程(三):配置文件详细解析

  在上一篇博客中提到,MMDetection搭建训练算法只需要3个步骤:1) 准备数据集 2) 编写配置文件 3) 执行train.py文件开始训练。但上篇博客只是很简略的介绍了一下大体流程,本文将从源码角度剖析配置文件构建机制,主要参考的是官方说明文档(不得不说网上那么多教程,最终发现最好的还是官方文档)。

  1. 官方说明文档 - MMCV
  2. 官方说明文档 - MMDetection
  3. 知乎官方 - MMCV核心组件分析(四):Config

1. 文件结构

  MMDetection已经实现的配置文件都位于./configs文件夹下,配置文件都按照统一的规则命名,具体字段的含义可以去官方文档自行查阅。

# 配置文件命名规则
{
    
    model}_[model setting]_{
    
    backbone}_{
    
    neck}_[norm setting]_[misc]_[gpu x batch_per_gpu]_{
    
    schedule}_{
    
    dataset}

  这些配置文件都是继承原始配置文件得到的,原始配置文件位于./configs/_base_文件夹下,有4个基本组件类型,分别是数据集(datasets)、模型(models)、训练策略(schedules)和运行时的默认配置(default_runtime)。一般来说,当我们新建一个配置文件时,需要从上述四个组件中分别继承一个原始配置文件,然后根据自己需要进行调整。当然,如果你是在构建一个与任何现有方法都不共享结构的全新方法,也可以直接新建,不继承任何原始配置文件。

  为了了解一个配置文件中都包含哪些必要信息,这里我新建了一个test_config.py,最低程度继承了4个原始配置文件:

_base_ = [
    'mmdetection/configs/_base_/models/fast_rcnn_r50_fpn.py',		# models
    'mmdetection/configs/_base_/datasets/coco_detection.py',		# datasets
    'mmdetection/configs/_base_/schedules/schedule_1x.py',			# schedules
    'mmdetection/configs/_base_/default_runtime.py',				# defualt_runtime
]

  然后使用mmdetection/tools/misc/print_config.py打印完整的配置文件信息,为了使整个配置文件结构看起来更加清晰,我把一些不重要的信息用省略号代替了:

# 1. 模型配置(models) =========================================
model = dict(
	type='FastRCNN',			# 模型名称是FastRCNN
	backbone=dict(				# BackBone是ResNet
        type='ResNet',
        ...,
    ),
    neck=dict(					# Neck是FPN
        type='FPN',
        ...,
    ),
    roi_head=dict(				# Head是StandardRoIHead
        type='StandardRoIHead',
        ...,
        loss_cls=dict(...),		# 分类损失函数
        loss_bbox=dict(...),	# 回归损失函数
    ),
    train_cfg=dict(				# 训练参数配置
    	assigner=dict(...),		# BBox Assigner
    	sampler=dict(...),		# BBox Sampler
    	...
	),
    test_cfg =dict(				# 测试参数配置
    	nms=dict(...),			# NMS后处理
    	...,
    )
)

# 2. 数据集配置(datasets) =========================================
dataset_type = '...'			# 数据集名称
data_root = '...'				# 数据集根目录
img_norm_cfg = dict(...)		# 图像归一化参数
train_pipeline = [				# 训练数据处理Pipeline
	...,
	dict(type='Normalize', **img_norm_cfg),
	...
]
test_pipeline = [...]			# 测试数据处理Pipeline
data = dict(
	samples_per_gpu=2,			# batch_size
    workers_per_gpu=2,			# GPU数量
	train=dict(					# 训练集配置
		type=dataset_type,
        ann_file=data_root + 'annotations/instances_train2017.json',	# 标注问加你
        img_prefix=data_root + 'train2017/',	# 图像前缀
		pipline=trian_pipline,					# 数据预处理pipeline
	),
	val=dict(					# 验证集配置
		...,
		pipline=test_pipline,
	),
	test=dict(					# 测试集配置
		...,
		pipline=test_pipline,
	)
)

# 3. 训练策略配置(schedules) =========================================
evaluation = dict(interval=1, metric='bbox')
optimizer = dict(type='SGD', lr=0.02, momentum=0.9, weight_decay=0.0001)
optimizer_config = dict(grad_clip=None)
lr_config = dict(
    policy='step',
    warmup='linear',
    warmup_iters=500,
    warmup_ratio=0.001,
    step=[8, 11])
runner = dict(type='EpochBasedRunner', max_epochs=12)

# 4. 运行配置(runtime) =========================================
checkpoint_config = dict(interval=1)
log_config = dict(interval=50, hooks=[dict(type='TextLoggerHook')])
custom_hooks = [dict(type='NumClassCheckHook')]
dist_params = dict(backend='nccl')
log_level = 'INFO'
load_from = None
resume_from = None
workflow = [('train', 1)]

  配置文件包含四个基本组件:datasets、models、schedules以及runtime。model除了模型本身网络结构以外,还包含bbox assigner、bbox sampler、nms等配置参数;data主要包含batch_size、训练集、验证集、测试集的相关参数 ;schedules包含优化器、学习率、迭代次数等训练过程相关参数的配置信息;runtime则是一些日志打印、参数保存、分布式训练相关的配置。结合上一篇博文的算法流程图,其中各个模块都可以在配置文件中找到对应的配置参数:Backbone到Loss这几个模块都在model的配置参数中,Tricks则体现在schedules的配置中。所以只要写好配置文件,后续MMDetection框架就会自动解析配置文件,构造出整个算法流程。

  总的来说,配置文件是由一系列dict类型变量组成的文本文件,其中还会包含一些中间变量,比如data_roottest_pipeline等,这些中间变量可以被其他dict引用。配置文件可以通过_base_ = ['...']的方式继承其他配置文件中的参数,然后通过重写的方式完成特定参数的修改,也新建一个空白文件,然后从头完成各个参数的赋值。

2. Config类

  MMDetection使用MMCV库中Config类完成对配置文件的解析。Config 类用于操作配置文件,它支持从多种文件格式中加载配置,包括python, json和yaml。 它提供了类似字典对象的接口来获取和设置值。

2.1 读取配置文件

  一般使用Config.fromfile(filename)来读取配置文件(也可以直接传入一个dict),返回一个Config类:

from mmcv import Config

cfg = Config.fromfile('../configs/test_config.py')

  fromfile()函数源码如下,其核心函数是_file2dict()_file2dict()会根据文本顺序,按照key = value的格式解析配置文件,得到一个名为cfg_dict的字典,如果存在_base_字段,还会对_base_包含的每个文件路径再调用一次_file2dict()函数,将文件中包含的配置参数加入到cfg_dict中,实现配置文件的继承功能。需要注意的是,_file2dict()内部会对_base_中不同文件包含的键值进行校验,不同base文件中不允许出现重复的键值,否则MMCV不知道以哪个base文件为准。

@staticmethod
def fromfile(filename,
             use_predefined_variables=True,
             import_custom_modules=True):
    cfg_dict, cfg_text = Config._file2dict(filename,
                                           use_predefined_variables)
    # import_modules_from_strings()是根据字符串列表对应的模块
    if import_custom_modules and cfg_dict.get('custom_imports', None):
        import_modules_from_strings(**cfg_dict['custom_imports'])
    return Config(cfg_dict, cfg_text=cfg_text, filename=filename)

  例如上面构建的test_config.py经过_file2dict()函数后,会得到下面的字典数据,然后初始化一个Config对象返回给fromfile()的上级调用。

  另外有两点需要补充一下,其一是构造Config对象的时候,会将python的dict数据类型转换为ConfigDict类型进行处理。ConfigDict是第三方库addict中Dict的子类,因为python原生的dict类型不支持.属性的访问方式,特别是dict内部嵌套了多层dict的时候,如果按照key的访问方式,代码写起来非常低效,而Dict类通过重写__getattr__()的方式实现了.属性的访问方式。所以继承了DictConfigDict也支持使用.属性的方式访问字典中的各个成员值。

from mmcv import ConfigDict

model = ConfigDict(dict(backbone=dict(type='ResNet', depth=50)))

print(model.backbone.type)		# 输出 'ResNet'

  其二是,MMCV为了兼容配置文件名中出现小数点的情况,_file2dict()会在'C:/Users/ADMINI~1/AppData/Local/Temp/'创建一个临时文件夹,如果C盘有访问权限,可能会出现报错,不过这个问题只会出现在Windows系统下。

2.2 修改配置参数

  知道MMCV解析配置文件的内部逻辑后,如何修改配置参数的值自然也清楚了。因为_file2dict()是根据文本顺序构建字典,所以后写的键值可以覆盖原来的值 (如果变量类型是list,会将list进行全部替换,无法实现某一个item的修改)。以修改优化器为例,原来的继承的优化器是SGD,学习率为0.02:

# 原来继承的优化器
optimizer = dict(type='SGD', lr=0.02, momentum=0.9, weight_decay=0.0001)

现在想要将由_base_继承的学习率调整为0.001,可以直接在当前配置文件中增加一行:

# 修改学习率
optimizer = dict(lr=0.001)

这样只会修改optimizer键值中的lr参数,其他参数不受影响,当前优化器就配置就变成了:

# 修改学习率后的SGD
optimizer = dict(type='SGD', lr=0.001, momentum=0.9, weight_decay=0.0001)

  如果想要现在想要换一个新的优化器,但两个优化器的参数不兼容,需要删掉原来的键值,用一组全新的键值代替,这时可以通过配置_delete_=True来实现:

# 将原来的SGD替换成AdamW
optimizer = dict(_delete_=True, type='AdamW', lr=0.0001, weight_decay=0.0001)

然后就完成了优化器的替换,当前配置文件的优化器参数如下:

# 当前优化器变为AdamW
optimizer = dict(type='AdamW', lr=0.0001, weight_decay=0.0001)

2.3 查看配置文件信息

  调用Config.fromfile()后会返回一个Config对象,其中除了上面提到的解析配置文件得到的ConfigDict类型的_cfg_dict外,还包含了textpretty_text这两个成员变量。

  text存储的是各个配置文件(包含_base_中继承的文件)中的原始文本信息,会标识配置文件的路径。

  pretty_text_cfg_dict字典内容的格式化文本,MMCV内部是借助Google的YAPF库来对字典对象进行格式化,使其输出符合人们的阅读习惯,直接print(cfg.pretty_text)即可查看完整配置文件信息,和MMDetection的mmdetection/tools/misc/print_config.py的效果是一样的。

  另外,还可以通过cfg.dump(filepath)pretty_text存储到文件中方便查看。

猜你喜欢

转载自blog.csdn.net/qq_16137569/article/details/121188974