从零预训练huggingface/transformers的GPT-2代码
Posted 罗斯威少合体
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了从零预训练huggingface/transformers的GPT-2代码相关的知识，希望对你有一定的参考价值。
参考
https://github.com/huggingface/notebooks/blob/main/examples/language_modeling_from_scratch.ipynb
和
https://github.com/huggingface/transformers/blob/main/examples/tensorflow/language-modeling/run_clm.py
以上是关于从零预训练huggingface/transformers的GPT-2代码的主要内容，如果未能解决你的问题，请参考以下文章
[从零开始学DeepFaceLab-18]: 使用-命令行八大操作步骤-第6步：模型的选择与训练 - 进阶 - 使用“预训练模型”与“模型的预训练”
[从零开始学DeepFaceLab-16]: 使用-命令行八大操作步骤-第6步：模型的选择与训练 - 进阶 - SAEHD模型训练参数详解与优化
[从零开始学DeepFaceLab-13]: 使用-命令行八大操作步骤-第6步：模型的选择与训练 - 常见基本问题