推理后如何将标记化的单词转换回原始单词?

Posted

技术标签:

【中文标题】推理后如何将标记化的单词转换回原始单词?【英文标题】:How to convert tokenized words back to the original ones after inference? 【发布时间】:2021-11-15 08:10:02 【问题描述】:

我正在为已经训练好的 NER 模型编写推理脚本,但我无法将编码的标记(它们的 id)转换为原始单词。

# example input
df = pd.DataFrame('_id': [1], 'body': ['Amazon and Tesla are currently the best picks out there!'])

# calling method that handles inference:
ner_model = NER()
ner_model.recognize_from_df(df, 'body')

# here is only part of larger NER class that handles the inference:
def recognize_from_df(self, df: pd.DataFrame, input_col: str):
    predictions = []
    df = df[['_id', input_col]].copy()
    dataset = Dataset.from_pandas(df)
    # tokenization, padding, truncation:
    encoded_dataset = dataset.map(lambda examples: self.bert_tokenizer(examples[input_col], 
                                      padding='max_length', truncation=True, max_length=512), batched=True)
    encoded_dataset.set_format(type='torch', columns=['input_ids', 'attention_mask'], device=device)
    dataloader = torch.utils.data.DataLoader(encoded_dataset, batch_size=32)
    encoded_dataset_ids = encoded_dataset['_id']

    for batch in dataloader:
        output = self.model(**batch)
        # decoding predictions and tokens
        for i in range(batch['input_ids'].shape[0]):
            tags = [self.unique_labels[label_id] for label_id in output[i]]
            tokens = [t for t in self.bert_tokenizer.convert_ids_to_tokens(batch['input_ids'][i]) if t != '[PAD]']
        ...

结果接近我需要的:

# tokens:
['[CLS]', 'am', '##az', '##on', 'and', 'te', '##sla', 'are', 'currently', 'the', 'best', 'picks', 'out', 'there', ...]
# tags:
['X', 'B-COMPANY', 'X', 'X', 'O', 'B-COMPANY', 'X', 'O', 'O', 'O', 'O', 'O', 'O', 'O', ...]

如何将'am', '##az', '##on''B-COMPANY', 'X', 'X'组合成一个token/tag?我知道Tokenizer中有一个叫convert_tokens_to_string的方法,但是它只返回一个大字符串,即很难映射到标签。

问候

【问题讨论】:

对我来说,您似乎可以通过简单地使用带有grouped_entities=True 的拥抱脸令牌分类管道来删除大量代码。您可以查看此answer 示例。否则,您可以查看code 并根据您的需要进行调整。 【参考方案1】:

如果您只想“合并”公司名称,可以使用纯 Python 在线性时间内完成。

为了简洁,跳过句首标记[CLS]

tokens = tokens[1:]
tags = tags[1:]

下面的函数会合并公司代币并适当增加指针:

def merge_company(tokens, tags):
    generated_tokens = []
    i = 0
    while i < len(tags):
        if tags[i] == "B-COMPANY":
            company_token = [tokens[i]]
            for j in range(i + 1, len(tags)):
                i += 1
                if tags[j] != "X":
                    break
                else:
                    company_token.append(tokens[j][2:])
            generated_tokens.append("".join(company_token))
        else:
            generated_tokens.append(tokens[i])
            i += 1

    return generated_tokens

用法非常简单,请注意tags 也需要删除他们的Xs:

tokens = merge_company(tokens, tags)
tags = [tag for tag in tags if tag != "X"]

这会给你:

['amazon', 'and', 'tesla', 'are', 'currently', 'the', 'best', 'picks', 'out', 'there']
['B-COMPANY', 'O', 'B-COMPANY', 'O', 'O', 'O', 'O', 'O', 'O', 'O']

【讨论】:

以上是关于推理后如何将标记化的单词转换回原始单词?的主要内容,如果未能解决你的问题,请参考以下文章

如何将解码器 LSTM 的输出数据转换回单词?

leetcode 79. Word Search 单词搜索

如何在Tensorflow中添加未知单词的新嵌入(训练和预设测试)

将列表转换为字符串或单词[重复]

将希伯来语单词转换为英文字符

标记器解码步骤拥抱脸中的标记到单词映射?