手把手写深度学习(15)：在Hugging Face上构建自己的语料库

Posted 沉迷单车的追风少年

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了手把手写深度学习(15)：在Hugging Face上构建自己的语料库相关的知识，希望对你有一定的参考价值。

目录

Tokenizers

Encoding

Decoding

Attention masks

导入Hugging Face的官方数据集

导入自己的数据集

以上是关于手把手写深度学习(15)：在Hugging Face上构建自己的语料库的主要内容，如果未能解决你的问题，请参考以下文章

手把手写深度学习——用LSTM生成手写英文文章

手把手写深度学习——用LSTM生成手写英文文章

手把手写深度学习：用GANs生成手写数字

手把手写深度学习：用GANs生成手写数字

手把手写深度学习(18)：finetune微调CLIP模型的原理代码调参技巧

手把手写深度学习：用最简单的神经网络多层感知机识别数字