Yolov5 冻结网络层进行迁移学习

Posted 2023-04-07 客之美我者

使用冻结图层进行迁移学习

本文介绍如何在迁移学习时冻结 YOLOv5 🚀 层。迁移学习是一种有用的方法，可以在新数据上快速重新训练模型，而无需重新训练整个网络。相反，部分初始权重被冻结在适当的位置，其余的权重用于计算损失并由优化程序更新。与正常训练相比，这需要更少的资源，并允许更快的训练时间，尽管它也可能导致最终训练的准确性降低

开始之前

克隆此存储库并安装要求.txt依赖项，包括 Python>=3.8 和 PyTorch>=1.7。

$ git clone https://github.com/ultralytics/yolov5 # clone repo
$ cd yolov5
$ pip install wandb -qr requirements.txt # install requirements.txt

冻结骨干网

在训练开始之前，通过将其梯度设置为零，将与 train.py 中的列表匹配的所有图层都将冻结。https://github.com/ultralytics/yolov5/blob/58f8ba771e3712b525ca93a1ee66bc2b2df2092f/train.py
#L83-L90freeze

查看模块名称列表：

for k, v in model.named_parameters():
    print(k)

# Output
model.0.conv.conv.weight
model.0.conv.bn.weight
model.0.conv.bn.bias
model.1.conv.weight
model.1.bn.weight
model.1.bn.bias
model.2.cv1.conv.weight
model.2.cv1.bn.weight
...
model.23.m.0.cv2.bn.weight
model.23.m.0.cv2.bn.bias
model.24.m.0.weight
model.24.m.0.bias
model.24.m.1.weight
model.24.m.1.bias
model.24.m.2.weight
model.24.m.2.bias

查看模型体系结构，我们可以看到模型主干是第 0-9 层：
https://github.com/ultralytics/yolov5/blob/58f8ba771e3712b525ca93a1ee66bc2b2df2092f/models/yolov5s.yaml #L12-L48

因此，我们将冻结列表定义为包含名称中带有“model.0.” - “model.9.”的所有模块，然后我们开始训练。

freeze = ['model.%s.' % x for x in range(10)]  # parameter names to freeze (full or partial)

冻结所有图层

为了冻结除检测（）中最终输出卷积层之外的完整模型，我们将冻结列表设置为包含名称中带有“model.0.” - “model.23.”的所有模块，然后开始训练。

freeze = ['model.%s.' % x for x in range(24)]  # parameter names to freeze (full or partial)

结果

我们在上述两种情况下都对VOC进行了YOLOv5m训练，以及默认模型（无冻结），从官方COCO预训练开始。所有运行的训练命令为：–weights yolov5m.pt

$ train.py --batch 48 --weights yolov5m.pt --data voc.yaml --epochs 50 --cache --img 512 --hyp hyp.finetune.yaml

精度比较

结果表明，冻结可以加快训练速度，但会略微降低最终准确性。完整的W&B运行报告可以在此链接中找到：https://wandb.ai/glenn-jocher/yolov5_tutorial_freeze/reports/Freezing-Layers-in-YOLOv5–VmlldzozMDk3NTg

显卡利用率比较

有趣的是，冻结的模块越多，训练所需的GPU内存就越少，GPU利用率也就越低。这表明较大的模型或以较大的图像大小训练的模型可能会受益于冻结以更快地训练。

参考官网地址

pytorch如何冻结某层参数的实现

这篇文章主要介绍了pytorch如何冻结某层参数的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧

在迁移学习finetune时我们通常需要冻结前几层的参数不参与训练，在Pytorch中的实现如下：

class Model(nn.Module):
 def __init__(self):
  super(Transfer_model, self).__init__()
  self.linear1 = nn.Linear(20, 50)
  self.linear2 = nn.Linear(50, 20)
  self.linear3 = nn.Linear(20, 2)

 def forward(self, x):
 pass

　　

假如我们想要冻结linear1层，需要做如下操作：

model = Model()
# 这里是一般情况，共享层往往不止一层，所以做一个for循环
for para in model.linear1.parameters():
 para.requires_grad = False
# 假如真的只有一层也可以这样操作：
# model.linear1.weight.requires_grad = False

　　

 最后我们需要将需要优化的参数传入优化器，不需要传入的参数过滤掉，所以要用到filter()函数。

optimizer = optim.Adam(filter(lambda p: p.requires_grad, model.parameters()), lr=0.1)

　　

其它的博客中都没有讲解filter()函数的作用，在这里我简单讲一下有助于更好的理解。

filter(function, iterable)

• function: 判断函数
• iterable: 可迭代对象

filter() 函数用于过滤序列，过滤掉不符合条件的元素，返回一个迭代器对象，如果要转换为列表，可以使用 list() 来转换。

该接收两个参数，第一个为函数，第二个为序列，序列的每个元素作为参数传递给函数进行判，然后返回 True 或 False，最后将返回 True 的元素放到新列表中。

filter()函数将requires_grad = True的参数传入优化器进行反向传播，requires_grad = False的则被过滤掉。