下载huggingface上模型的正确姿势

Posted JasonLiu1919

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了下载huggingface上模型的正确姿势相关的知识,希望对你有一定的参考价值。

文章目录

背景

之前下载huggingface上模型的时候,要么是用类似如下脚本的方式下载:

from transformers import AutoTokenizer, AutoModelForMaskedLM
  
tokenizer = AutoTokenizer.from_pretrained("bert-base-uncased")
model = AutoModelForMaskedLM.from_pretrained("bert-base-uncased")

要么是在Files and versions 中点击目标文件逐一下载:


那么是否有更方便的方式,一行命令直接下载整个模型文件?有的,使用git lfs 即可。

环境安装

LFS是Large File Storage的缩写,用于帮助git管理大文件。不同于git每次保存diff,对于git来说,如果是模型或者一些设计大文件,改变一点,对于仓库来说会增加很大的体积,不一会就能几个G。对于git lfs来说,在使用git lfs track命令后,git push的时候,git lfs会截取要管理的大文件,并将其传至git lfs的服务器中,从而减小仓库的体积。

工具安装:

yum install git-lfs
# Make sure you have git-lfs installed
# (https://git-lfs.github.com/)
git lfs install

模型下载

至此,可以使用git clone https://huggingface.co/username/your-model-name下载目标模型。比如想要下载bert-base-uncased模型:

git clone https://huggingface.co/bert-base-uncased


下载结果可以和网页结果比对:

并进行hash校验,可以看出结果相同,即表明正常下载了模型文件。


以上是关于下载huggingface上模型的正确姿势的主要内容,如果未能解决你的问题,请参考以下文章

如何下载 HuggingFace 模型“transformers.trainer.Trainer”?

下载huggingface-transformers模型至本地,并使用from_pretrained方法加载

如何从拥抱脸下载模型?

huggingface/transformers快速上手

huggingface/transformers快速上手

Huggingface 微调 - 如何在预训练的基础上构建自定义模型