torchtext 用法

Posted 2023-02-20

参考技术A 官方文档：
torchtext包含两部分：

现在torchtext.data，torchtext.dataset,torchtext.vocab都放在torchtext.legacy当中了。

常见用法
TEXT = data.Field(tokenize='spacy',tokenizer_language='en_core_web_sm', dtype = torch.float)

TEXT = data.Field(batch_first=True, eos_token='<eos>')

self.TEXT = data.Field(init_token='<start>', eos_token='<eos>', lower=True, tokenize='spacy', fix_length=16)
self.LABEL = data.Field(sequential=False, unk_token=None)