缺少 GPT-2 微调脚本和 Hugging-face GitHub 中的推理?

Posted

技术标签:

【中文标题】缺少 GPT-2 微调脚本和 Hugging-face GitHub 中的推理?【英文标题】:Scripts missing for GPT-2 fine tune, and inference in Hugging-face GitHub? 【发布时间】:2020-10-30 23:43:21 【问题描述】:

我正在关注拥抱脸网站上的 documentation,在那里他们说要微调 GPT-2,我应该使用脚本 run_lm_finetuning.py 用于微调,脚本run_generation.py 用于推理。 但是,这两个脚本实际上不再存在于 GitHub 上。

有人知道文档是否过时吗?或者在哪里可以找到这两个脚本?

谢谢

【问题讨论】:

【参考方案1】:

看起来他们已经被移动了几次而且文档确实已经过时了,当前版本可以在run_language_modeling.py这里找到https://github.com/huggingface/transformers/tree/master/examples/language-modeling

【讨论】:

这个也不见了。

以上是关于缺少 GPT-2 微调脚本和 Hugging-face GitHub 中的推理?的主要内容,如果未能解决你的问题,请参考以下文章

GPT系列论文

快速了解 GPT 发展三阶段

单 GPU 上的 Transformer 模型微调

是否有“未经训练”的 gpt 模型文件夹?

Huggingface Transformer - GPT2 从保存的检查点恢复训练

小破本也能炼GPT!300行代码搞定,GitHub获6k星,来自特斯拉前AI总监