拥抱面标记器中的填充如何工作？

Posted 2023-03-29

【中文标题】拥抱面标记器中的填充如何工作？

【英文标题】：How padding in huggingface tokenizer works?

【发布时间】：2022-01-01 03:53:29

【问题描述】：

我尝试了以下标记化示例：

tokenizer = BertTokenizer.from_pretrained(MODEL_TYPE, do_lower_case=True)
sent = "I hate this. Not that.",        
_tokenized = tokenizer(sent, padding=True, max_length=20, truncation=True)
print(_tknzr.decode(_tokenized['input_ids'][0]))
print(len(_tokenized['input_ids'][0]))

输出是：

[CLS] i hate this. not that. [SEP]
9

注意参数tokenizer:max_length=20。如何让 Bert tokenizer 将 11 个 [PAD] 标记附加到这句话中，使其总数为 20？

【参考方案1】：

应该设置padding="max_length":

_tokenized = tokenizer(sent, padding="max_length", max_length=20, truncation=True)