解决ValueError: You need to pass a valid `token` or login by using `huggingface……问题

Posted 2022-08-01 沉迷单车的追风少年

项目场景：

基于hugging face的NLP任务，MLM场景下微调BertModel。

---

问题描述

原报错代码：

from transformers import TrainingArguments

training_args = TrainingArguments(
    output_dir=f"model_name-finetuned-imdb",
    overwrite_output_dir=True,
    evaluation_strategy="epoch",
    learning_rate=2e-5,
    weight_decay=0.01,
    per_device_train_batch_size=64,
    per_device_eval_batch_size=64,
    push_to_hub=True,
    # push_to_hub=False,
    fp16=True,
    logging_steps=logging_steps,
)

或者登录时候显示错误：

from huggingface_hub import notebook_login

notebook_login()

这一段代码中参数push_to_hub=True表示会把自己训练好的模型共享到hugging face社区。

原因分析：

如果是第一次使用hugging face的用户，没有注册，没有设置自己的token，所以没有办法共享到hugging face社区。

简单的方法是讲push_to_hub=False，