解决ValueError: You need to pass a valid `token` or login by using `huggingface……问题

Posted 2022-06-14 沉迷单车的追风少年

项目场景：

基于hugging face的NLP任务，MLM场景下微调BertModel。

---

问题描述

原报错代码：

from transformers import TrainingArguments

training_args = TrainingArguments(
    output_dir=f"model_name-finetuned-imdb",
    overwrite_output_dir=True,
    evaluation_strategy="epoch",
    learning_rate=2e-5,
    weight_decay=0.01,
    per_device_train_batch_size=64,
    per_device_eval_batch_size=64,
    push_to_hub=True,
    # push_to_hub=False,
    fp16=True,
    logging_steps=logging_steps,
)

或者登录时候显示错误：

from huggingface_hub import notebook_login

notebook_login()

这一段代码中参数push_to_hub=True表示会把自己训练好的模型共享到hugging face社区。

原因分析：

如果是第一次使用hugging face的用户，没有注册，没有设置自己的token，所以没有办法共享到hugging face社区。

简单的方法是讲push_to_hub=False，在后面的逻辑上都去掉上传的逻辑，这样就不会报错了。

下面讲一下如何在hugging face社区上设置自己的token。

---

解决方案：

1、打开官网：Hugging Face – The AI community building the future.

如果没有注册按照提示注册即可。

2、进入setting页面

 3、点击new token，新建自己的token，并复制。

注意不要复制Organizations API Tokens，复制User Access Tokens！

4、打开自己的服务器，执行：

pip install huggingface_hub
huggingface-cli login

执行成功会显示：

huggingface-cli login

        _|    _|  _|    _|    _|_|_|    _|_|_|  _|_|_|  _|      _|    _|_|_|      _|_|_|_|    _|_|      _|_|_|  _|_|_|_|
        _|    _|  _|    _|  _|        _|          _|    _|_|    _|  _|            _|        _|    _|  _|        _|
        _|_|_|_|  _|    _|  _|  _|_|  _|  _|_|    _|    _|  _|  _|  _|  _|_|      _|_|_|    _|_|_|_|  _|        _|_|_|
        _|    _|  _|    _|  _|    _|  _|    _|    _|    _|    _|_|  _|    _|      _|        _|    _|  _|        _|
        _|    _|    _|_|      _|_|_|    _|_|_|  _|_|_|  _|      _|    _|_|_|      _|        _|    _|    _|_|_|  _|_|_|_|

        To login, `huggingface_hub` now requires a token generated from https://huggingface.co/settings/tokens .
        (Deprecated, will be removed in v0.3.0) To login with username and password instead, interrupt with Ctrl+C.

Token:
Login successful
Your token has been saved to /root/.huggingface/token

注意：如果执行失败，很可能是自己的token复制错误，此时会报错：

huggingface-cli login

        _|    _|  _|    _|    _|_|_|    _|_|_|  _|_|_|  _|      _|    _|_|_|      _|_|_|_|    _|_|      _|_|_|  _|_|_|_|
        _|    _|  _|    _|  _|        _|          _|    _|_|    _|  _|            _|        _|    _|  _|        _|
        _|_|_|_|  _|    _|  _|  _|_|  _|  _|_|    _|    _|  _|  _|  _|  _|_|      _|_|_|    _|_|_|_|  _|        _|_|_|
        _|    _|  _|    _|  _|    _|  _|    _|    _|    _|    _|_|  _|    _|      _|        _|    _|  _|        _|
        _|    _|    _|_|      _|_|_|    _|_|_|  _|_|_|  _|      _|    _|_|_|      _|        _|    _|    _|_|_|  _|_|_|_|

        To login, `huggingface_hub` now requires a token generated from https://huggingface.co/settings/tokens .
        (Deprecated, will be removed in v0.3.0) To login with username and password instead, interrupt with Ctrl+C.

Token:
Traceback (most recent call last):
  File "/root/anaconda3/envs/dpm-pc-gen/bin/huggingface-cli", line 8, in <module>
    sys.exit(main())
  File "/root/anaconda3/envs/dpm-pc-gen/lib/python3.7/site-packages/huggingface_hub/commands/huggingface_cli.py", line 41, in main
    service.run()
  File "/root/anaconda3/envs/dpm-pc-gen/lib/python3.7/site-packages/huggingface_hub/commands/user.py", line 177, in run
    _login(self._api, token=token)
  File "/root/anaconda3/envs/dpm-pc-gen/lib/python3.7/site-packages/huggingface_hub/commands/user.py", line 396, in _login
    token, name = hf_api._validate_or_retrieve_token(token)
  File "/root/anaconda3/envs/dpm-pc-gen/lib/python3.7/site-packages/huggingface_hub/hf_api.py", line 681, in _validate_or_retrieve_token
    raise ValueError("You must use your personal account token.")
ValueError: You must use your personal account token.

仔细检查自己的复制是否有误！！