YOLOV5-断点训练/继续训练

Posted 2023-04-05 科研工作者MY008

YOLOV5-断点训练/继续训练

情况：
1.训练过程中中断了，继续训练
2.训练完了，但是未收敛，在这个基础上，还想用这个权重、学习率等参数继续训练多一些批次

1. 训练过程中中断了，继续训练

断电、或者什么原因中断了，比如设定epoch为200，但是在90这里中断了，想从断点这里继续 训练到 200个epoch
直接在trainds.py设置参数–resume的defualt=True即可（在代码 517行附近）

1.parser.add_argument('--resume', nargs='?', const=True, default=True, help='resume most recent training')

2.训练完原有epoch，发现没有收敛，想继续训练

训练完原有epoch后，但还继续训练，比如设置epoch为30，已经训练完了，但是没有收敛，想使用训练了30 epoch的权重继续训练40个epoch， 总共就是70个epoch

**注意：**不是直接在train.py设置weight参数为训练好的权重（last.pt），然后设置epoch为70，这样不行，因为学习率等超参数启动时还是按照默认的。（自己把一些超参数设置好也可以，比较麻烦）
在train.py代码里面设置就可以使用原有30 epoch的权重后继续训练到40epoch

step1：

先将–resume的defualt改为True，再将–epochs设为想要继续训练到的epochs，即defualt=70（在trainds.py代码的513行附近）

parser.add_argument('--epochs', type=int, default=70)

step2：

在trainds.py文件中，按下Ctrl+F搜索Epochs定位到大概197行的位置，做以下两处修改：

添加一行代码：ckpt[‘epoch’] = 30
修改代码：start_epoch = ckpt[‘epoch’]（后面不加1）
注意：这两处修改是为了断点训练，如果不再需要断点训练，请将这两处修改都还原。

step3：

在trainds.py文件中，按下Ctrl+F搜索replace定位到大概565行的位置，做以下两处修改：

如图添加一行代码：init_epochs = opt.epochs（记录最开始由epochs参数设定的数值70，因为replace这行代码，将epochs替换成了原始的epochs数值30）
修改代码：如图进行添加，reinstate恢复成设定的epochs

做完以上3个修改，训练就会从第30个epoch的基础上进行继续训练到70个epoch，和直接设置epoch为70一样

参考文献：https://blog.csdn.net/LWD19981223

深度学习Yolov5训练意外中断后如何接续训练详解；yolov5中断后继续训练

0. 前言

目标检测是计算机视觉上的一个重要任务,下面这篇文章主要给大家介绍了关于Yolov5训练意外中断后如何接续训练的相关资料,文中通过实例代码介绍的非常详细,需要的朋友可以参考下

1. 配置环境

操作系统：Ubuntu20.04

CUDA版本：11.4

Pytorch版本：1.9.0

TorchVision版本：0.7.0

IDE：PyCharm

硬件：RTX2070S*2

2. 问题描述

在训练YOLOv5时由于数据集很大导致训练时间十分漫长，这期间Python、主机等可能遇到死机，或者任务量繁重导致功耗过大主机自动重启的情况，如果需要训练300个epoch但是训练一晚后发现在200epoch时停下是十分崩溃了，好在博主摸索到在yolov5中接续训练的方法了。

3. 解决方法

3.1设置需要接续训练的结果

如果你想从上一次训练结果中回复训练，那么首先保证你的训练结果（一般都存放在/runs/train目录下）在保存目录中代号为最大的。

如上图所示，在train文件夹下一共有14个训练结果，假设我的第12次训练中断了，想接着第12次的结果继续训练，那么只需要将比12更大的：exp13、exp14这两个文件夹删除或者移动到其他地方，这样便设置好了需要接续训练的结果。

3.2设置训练代码

代码需要更改yolov5代码中的train.py中的参数设置

if __name__ == '__main__':
	os.environ["KMP_DUPLICATE_LIB_OK"] = "TRUE"
	parser = argparse.ArgumentParser()
	parser.add_argument('--weights', type=str, default='../weights/yolov5s.pt', help='initial weights path')
	parser.add_argument('--cfg', type=str, default='./models/yolov5s.yaml', help='model.yaml path')
	parser.add_argument('--data', type=str, default='data/car.yaml', help='data.yaml path')
	parser.add_argument('--hyp', type=str, default='data/hyp.scratch.yaml', help='hyperparameters path')
	parser.add_argument('--epochs', type=int, default=300)
	parser.add_argument('--batch-size', type=int, default=32, help='total batch size for all GPUs')
	parser.add_argument('--img-size', nargs='+', type=int, default=[640, 640], help='[train, test] image sizes')
	parser.add_argument('--rect', action='store_true', help='rectangular training')
	parser.add_argument('--resume', nargs='?', const=True, default=False, help='resume most recent training')
	parser.add_argument('--nosave', action='store_true', help='only save final checkpoint')
	parser.add_argument('--notest', action='store_true', help='only test final epoch')
	parser.add_argument('--noautoanchor', action='store_true', help='disable autoanchor check')
	parser.add_argument('--evolve', action='store_true', help='evolve hyperparameters')
	parser.add_argument('--bucket', type=str, default='', help='gsutil bucket')
	parser.add_argument('--cache-images', action='store_true', help='cache images for faster training')
	parser.add_argument('--image-weights', action='store_true', help='use weighted image selection for training')
	parser.add_argument('--device', default='1', help='cuda device, i.e. 0 or 0,1,2,3 or cpu')
	parser.add_argument('--multi-scale', action='store_true', help='vary img-size +/- 50%%')
	parser.add_argument('--single-cls', action='store_true', help='train multi-class data as single-class')
	parser.add_argument('--adam', action='store_true', help='use torch.optim.Adam() optimizer')
	parser.add_argument('--sync-bn', action='store_true', help='use SyncBatchNorm, only available in DDP mode')
	parser.add_argument('--local_rank', type=int, default=-1, help='DDP parameter, do not modify')
	parser.add_argument('--workers', type=int, default=8, help='maximum number of dataloader workers')
	parser.add_argument('--project', default='runs/train', help='save to project/name')
	parser.add_argument('--entity', default=None, help='W&B entity')
	parser.add_argument('--name', default='exp', help='save to project/name')
	parser.add_argument('--exist-ok', action='store_true', help='existing project/name ok, do not increment')
	parser.add_argument('--quad', action='store_true', help='quad dataloader')
	parser.add_argument('--linear-lr', action='store_true', help='linear LR')
	parser.add_argument('--label-smoothing', type=float, default=0.0, help='Label smoothing epsilon')
	parser.add_argument('--upload_dataset', action='store_true', help='Upload dataset as W&B artifact table')
	parser.add_argument('--bbox_interval', type=int, default=-1, help='Set bounding-box image logging interval for W&B')
	parser.add_argument('--save_period', type=int, default=-1, help='Log model after every "save_period" epoch')
	parser.add_argument('--artifact_alias', type=str, default="latest", help='version of dataset artifact to be used')
	opt = parser.parse_args()

注意上面patser中第9个参数resume，将其设置为default=True即可，也就是那一行代码改变为

	parser.add_argument('--resume', nargs='?', const=True, default=True, help='resume most recent training')

接下来运行python train.py边不会产生新的exp而是在最新的exp上接续训练

如下图所示：

博主运行完python train.py后便是接着上一次训练完139个epoch继续训练

4. 原理

其实接续训练不是什么深奥内容 ，博主在训练自己模型的时候也早会使用。

我们在使用yolov5提供的权重，也就是像yolov5s.pt之类的文件时就是使用了官方提供的模型接续训练的。

我们每次训练模型时都会生成新的模型结果，存放在/runs/train/expxxx/weights下，接续训练就是将上次训练一半得到的结果拿来和模型结合进行训练。具体来说：如果最终训练目标是300个epoch，上次训练完了139个epoch，那么就是将第139个epoch得到的权重载入到模型中再训练161个epoch便可等效为训练了300个epoch