《自然语言处理实战入门》深度学习 ---- 预训练模型的使用（ALBERT 进行多标签文本分类与CPU 下的微调 fine tune）

Posted 2022-08-27 shiter

文章大纲

• 环境构建
• 关键点
• 数据预处理
• 模型微调、评估、预测
• • keras 模型结构
  • 训练微调
  • 模型保存与再次载入
  • 模型预测
• 参考文献

---

如何使用预训练模型进行文本分类以及下游任务的微调呢？其实挺简单的，CPU+大内存（16G及以上）也能跑，我们来大致探索一二

环境构建

conda create -n nlp_tf2 python=3.8 -y
conda activate nlp_tf2
conda install ipykernel
# bert4keras 无法支持高版本
pip install tensorflow==2.2.2
pip install pandas
pip install matplotlib
pip install sklearn
pip install bert4keras

关键点

1. 使用linux 类系统,windwos 系统中,albert tf keras 各种适配困难
2. 如果windows 中wsl2 中使用，需要将wsl2 的资源配置调高