小白学习PyTorch教程十五BERT：通过PyTorch来创建一个文本分类的Bert模型

Posted 2021-09-05 刘润森！

@Author：Runsen

2018 年，谷歌发表了一篇题为《Pre-training of deep bidirectional Transformers for Language Understanding》的论文。

在本文中，介绍了一种称为BERT（带转换器Transformers的双向编码Encoder 器表示）的语言模型，该模型在问答、自然语言推理、分类和通用语言理解评估或 (GLUE)等任务中取得了最先进的性能.

BERT全称为Bidirectional Encoder Representation from Transformers[1]，是一种用于语言表征的预训练模型

在本文中，我们将使用 PyTorch来创建一个文本分类的Bert模型。

数据集来源：https://www.kaggle.com/jrobischon/wikipedia-movie-plots

该数据集包含对来自世界各地的 34,886 部电影的描述。列描述如下：

• 发行年份： 电影发行的年份
• 标题：电影标题
• 起源：电影的起源（即美国、宝莱坞、泰米尔等）
• 剧情：主要演员
• 类型： 电影类型
• 维基页面- 从中抓取情节描述的维基百科页面的 URL
• 情节：电影情节的长篇描述

import numpy as np
import pandas as