Pytorch冻结部分层的参数

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Pytorch冻结部分层的参数相关的知识,希望对你有一定的参考价值。

参考技术A 在迁移学习finetune时我们通常需要冻结前几层的参数不参与训练,在Pytorch中的实现如下:

假如我们想要冻结 linear1 层,需要做如下操作:

最后我们需要将需要优化的参数传入优化器,不需要传入的参数过滤掉,所以要用到 filter() 函数。

其它的博客中都没有讲解 filter() 函数的作用,在这里我简单讲一下有助于更好的理解。

filter() 函数用于过滤序列,过滤掉不符合条件的元素,返回一个迭代器对象,如果要转换为列表,可以使用 list() 来转换。

该接收两个参数,第一个为函数,第二个为序列,序列的每个元素作为参数传递给函数进行判,然后返回 True 或 False,最后将返回 True 的元素放到新列表中。

filter() 函数将requires_grad = True的参数传入优化器进行反向传播,requires_grad = False的则被过滤掉。

本文原载于我的 CSDN博客

Pytorch实现网络部分层的固定不进行回传更新

实际问题

Pytorch有的时候需要对一些层的参数进行固定,这些层不进行参数的梯度更新

问题解决思路

那么从理论上来说就有两种办法

  • 优化器初始化的时候不包含这些不想被更新的参数,这样他们会进行梯度回传,但是不会被更新
  • 将这些不会被更新的参数梯度归零,或者不计算它们的梯度

思路就是利用tensorrequires_grad,每一个tensor都有自己的requires_grad成员,值只能为TrueFalse。我们对不需要参与训练的参数的requires_grad设置为False

在optim参数模型参数中过滤掉requires_grad为False的参数。
还是以上面搭建的简单网络为例,我们固定第一个卷积层的参数,训练其他层的所有参数。

代码实现

class Net(nn.Module):
    def __init__(self):
        super(Net,self).__init__()
        self.conv1 = nn.Conv2d(3,32,3)
        self.conv2 = nn.Conv2d(32,24,3)
        self.prelu = nn.PReLU()
        for m in self.modules():
            if isinstance(m,nn.Conv2d):
                nn.init.xavier_normal_(m.weight.data)
                nn.init.constant_(m.bias.data,0)
            if isinstance(m,nn.Linear):
                m.weight.data.normal_(0.01,0,1)
                m.bias.data.zero_()
    def forward(self, input):
        out = self.conv1(input)
        out = self.conv2(out)
        out = self.prelu(out)
        return out

遍历第一层的参数,然后为其设置requires_grad

model = Net()
for name, p in model.named_parameters():
    if name.startswith('conv1'):
        p.requires_grad = False
        
optimizer = torch.optim.Adam(filter(lambda x: x.requires_grad is not False ,model.parameters()),lr= 0.2)

为了验证一下我们的设置是否正确,我们分别看看model中的参数的requires_gradoptim中的params_group()

for p in model.parameters():
    print(p.requires_grad)

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-jyWdQmC9-1629811759294)(http://qiniu.daidaixiang.xyz/image-20210824212851121.png)]

能看出优化器仅仅对requires_gradTrue的参数进行迭代优化。

LAST 参考文献

Pytorch中,动态调整学习率、不同层设置不同学习率和固定某些层训练的方法_我的博客有点东西-CSDN博客

以上是关于Pytorch冻结部分层的参数的主要内容,如果未能解决你的问题,请参考以下文章

如何在 Pytorch 中应用分层学习率?

pytorch如何冻结某层参数的实现

Pytorch的冻结以及解冻

Pytorch实现网络部分层的固定不进行回传更新

Pytorch实现网络部分层的固定不进行回传更新

Pytorch 模型 查看网络参数的梯度以及参数更新是否正确,优化器学习率的分层设置