是否可以按宽度扩展冻结神经网络模型的节点?

Posted

技术标签:

【中文标题】是否可以按宽度扩展冻结神经网络模型的节点?【英文标题】:Is it possible to expand nodes of a frozen neural network model by width? 【发布时间】:2021-09-17 14:26:37 【问题描述】:

我想在 pytorch 中按宽度扩展冻结神经网络模型的节点数。我想做一些如下图所示的事情,其中​​灰色是冻结的权重,绿色是新添加的可训练权重。

.

我有一个初始模型,它接受 3 个输入并返回一个输出,该模型还有两个隐藏层,节点分别为 h1=5 和 h2=3。我在 pytorch 中创建了模型并冻结了权重。

import torch
import torch.nn as nn
import torch.nn.functional as F    

class Net(nn.Module):
    def __init__(self):
        super(Net,self).__init__()
        self.fc1 = nn.Linear(3, 5)  
        self.fc2 = nn.Linear(5, 3)
        self.fc3 = nn.Linear(3, 1)
    def forward(self,x):
        x = self.fc1(x)
        x = self.fc2(x)
        x = self.fc3(x)
        return x       

print(Net())

model = Net()
X = torch.rand(5,3)
y = model(X)
print(y)

# Freeze layers
for param in model.parameters():
    param.requires_grad = False

现在我想通过将可训练节点添加到 h1=5+2、h2=3+1 和 output= 来扩展此模型1+1。只有新添加的节点应该是可训练的,所有其他权重应该被冻结,并且那些冻结的权重应该与父模型具有相同的权重。这可以在 pytorch 或 tensorflow 中完成吗?

【问题讨论】:

【参考方案1】:

有两件事需要做

1。展开图层

你真的应该使用ModuleListModuleDict 来创建图层,因为这意味着你可以使用循环。我知道evalsetattr 也可以,但它们往往会破坏其他东西,所以我不想使用它们。

我能想到两种方法。一种是直接用更大的东西替换weight,另一种是创建一个更大的层并替换整个层。

# Replace the weight with randomly generated tensor
fc1_newweight = torch.rand(7, 3)
fc1_newbias = torch.rand(7)
fc1_shape = model.fc1.weight.shape
fc1_newweight[:fc1_shape[0], :fc1_shape[1]] = model.fc1.weight.clone()
fc1_newbias[:fc1_shape[0]] = model.fc1.bias.clone()
model.fc1.weight = torch.nn.Parameter(fc1_newweight)
model.fc1.bias = torch.nn.Parameter(fc1_newbias)

# Replace the weight with the random generated weights from the new layer
fc2_shape = model.fc2.weight.shape
fc2 = nn.Linear(7, 4)
fc2_weight = fc2.state_dict()
fc2_weight['weight'][:fc2_shape[0], :fc2_shape[1]] = model.fc2.weight.clone()
fc2_weight['bias'][:fc2_shape[0]] = model.fc2.bias.clone()
fc2.load_state_dict(fc2_weight)
model.fc2.weight = torch.nn.Parameter(fc2_weight['weight'])
model.fc2.bias = torch.nn.Parameter(fc2_weight['bias'])

# Replace the whole layer
fc3_shape = model.fc3.weight.shape
fc3 = nn.Linear(4, 2)
fc3_weight = fc3.state_dict()
fc3_weight['weight'][:fc3_shape[0], :fc3_shape[1]] = model.fc3.weight.clone()
fc3_weight['bias'][:fc3_shape[0]] = model.fc3.bias.clone()
fc3.load_state_dict(fc3_weight)
model.fc3 = fc3

我更喜欢 2. 或 3. 而不是 1. 因为权重将使用 nn.init.kaiming_uniform 而不是统一生成。

2。选择可训练的内容

这很棘手,因为你不能只在权重的某些元素上设置require_grad,因为你会得到RuntimeError: you can only change requires_grad flags of leaf variables.

但是像这样的东西应该是一个足够好的替代品。同样,使用ModuleList 也会使这里的代码看起来更好。

y = model(x)
loss = criterion(y, target)
loss.backward()

model.fc1.weight.grad[:fc1_shape[0], :fc1_shape[1]] = 0
model.fc1.bias.grad[:fc1_shape[0]] = 0
model.fc2.weight.grad[:fc2_shape[0], :fc2_shape[1]] = 0
model.fc2.bias.grad[:fc2_shape[0]] = 0
model.fc3.weight.grad[:fc3_shape[0], :fc3_shape[1]] = 0
model.fc3.bias.grad[:fc3_shape[0]] = 0

optimizer.step()

【讨论】:

以上是关于是否可以按宽度扩展冻结神经网络模型的节点?的主要内容,如果未能解决你的问题,请参考以下文章

扩展图神经网络:暴力堆叠模型深度并不可取

干货 | 扩展图神经网络:暴力堆叠模型深度并不可取

如何在一个模型中训练多个损失,并在 pytorch 中选择冻结网络的某些部分?

Yolov5 冻结网络层进行迁移学习

深度前馈网络

网络管理   上