如何下载 HuggingFace 模型“transformers.trainer.Trainer”？

Posted 2023-03-29

【中文标题】如何下载 HuggingFace 模型“transformers.trainer.Trainer”？

【英文标题】：How to download a HuggingFace model 'transformers.trainer.Trainer'?

【发布时间】：2021-12-08 08:17:25

【问题描述】：

在 1 个代码中，我使用 save_pretrained() 函数上传了基于“transformers.trainer.Trainer”的拥抱脸模型 在第二个代码中，我想下载这个上传的模型并用它来进行预测。我在这一步需要帮助 - 如何下载上传的模型然后进行预测？

创建模型的步骤：

from transformers import AutoModelForQuestionAnswering, TrainingArguments, Trainer
model = AutoModelForQuestionAnswering.from_pretrained('xlm-roberta-large)
trainer = Trainer(
model,
args,
train_dataset=tokenized_train_ds,
eval_dataset=tokenized_val_ds,
data_collator=data_collator,
tokenizer=tokenizer,)

#Arguments used above not mentioned here - model, args, tokenized_train_ds, tokenized_val_ds, data_collator, tokenizer
#Below step train the pre-trained model
trainer.train()

然后我使用以下命令上传了这个“培训师”模型：-

trainer.save_model('./trainer_sm')

在不同的代码中，我现在想下载这个模型并用它来进行预测，有人可以建议如何做到这一点吗？我尝试了以下命令来上传它：-

model_sm=AutoModelForQuestionAnswering.from_pretrained("./trainer_sm")

并用它通过这行代码进行预测：-

model_sm.predict(test_features)
AttributeError: 'XLMRobertaForQuestionAnswering' object has no attribute 'predict'

我还使用 'use_auth_token=True' 作为 from_pretrained 的参数，但这也不起作用。

另外，type(trainer) 是 'transformers.trainer.Trainer' ，而 type(model_sm) 是 transformers.models.xlm_roberta.modeling_xlm_roberta.XLMRobertaForQuestionAnswering

【参考方案1】：

你保存的是训练者要调整的模型，你应该知道预测、训练、评估等是transformers.trainer.Trainer对象的实用程序，而不是transformers.models.xlm_roberta.modeling_xlm_roberta.XLMRobertaForQuestionAnswering。根据所提到的，让事情继续下去的最简单方法是创建另一个训练器实例。

model_sm=AutoModelForQuestionAnswering.from_pretrained("./trainer_sm")
reloaded_trainer = Trainer(
                    model = model_sm,
                    tokenizer = tokenizer,
                    # other arguments if you have changed the defaults 
                    )
reloaded_trainer.predict(test_dataset)