pytorch入门与实战---torchtext的应用

Posted 2020-12-11 luckyplj

1.torchtext的一些API

torchtext.data.Example : 用来表示一个样本，数据+标签
torchtext.vocab.Vocab: 词汇表相关
torchtext.data.Datasets: 数据集类，__getitem__ 返回 Example实例
torchtext.data.Field : 用来定义字段的处理方法（文本字段，标签字段）
创建 Example时的 预处理
batch 时的一些处理操作。
torchtext.data.Iterator: 迭代器，用来生成 batch
torchtext.datasets: 包含了常见的数据集.
2.torchtext简介

 

Torchtext 是一个非常强有力的库，她可以帮助我们解决 文本的预处理问题。为了能够更好的利用这个工具，我们需要知道她可以做什么，不可以做什么，也要将每个API和其我们想要的做的事情联系起来。另外一个值得夸赞的一点是，Torchtext 不仅可以和 pytorch 一起用，还可以和其它深度学习框架(tf,mxnet,…)。

 

3.TorchText 的数据预处理流程