spaCy 2.0：保存并加载自定义NER模型

Posted 2021-04-18

我在spaCy中使用自定义标记器训练了一个自定义NER模型。我想在没有tokenizer的情况下保存NER模型。我在spaCy支持论坛中找到了以下代码：

import spacy

nlp = spacy.load("en")
nlp.tokenizer = some_custom_tokenizer
# Train the NER model...
nlp.tokenizer = None
nlp.to_disk('/tmp/my_model', disable=['tokenizer'])

当我尝试加载它时，管道是空的，并且令人惊讶的是，它具有默认的spaCy标记器。

nlp = spacy.blank('en').from_disk('/tmp/model', disable=['tokenizer'])

任何想法如何在没有标记器的情况下加载模型，但获得完整的管道？谢谢

答案

将模型保存到磁盘后，可以使用nlp = spacy.load('/tmp/model')加载模型。你做的事情显然只根据Spacy文档加载二进制数据（https://spacy.io/usage/training#section-saving-loading）