如何冻结拥抱脸模型？

Posted 2023-03-29

【中文标题】如何冻结拥抱脸模型？

【英文标题】：How to freeze a huggingface model?

【发布时间】：2022-01-17 23:56:55

【问题描述】：

我用

        for p in model.parameters():
            p.requires_grad = False

冻结一个 T5 模型（t5-small），但是当我打印需要 grad 的参数时，仍然有一个大小为32121x512 的参数。这是什么？是嵌入矩阵吗？我也应该冷冻它吗？似乎向后梯度会影响这个剩余的参数

【参考方案1】：

看来我在冻结参数后调用了model.resize_token_embeddings(len(tokenizer))，它可以将嵌入的require_grad重置为True