如何加快Spacy的nlp通话速度?

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了如何加快Spacy的nlp通话速度?相关的知识,希望对你有一定的参考价值。

我必须处理成千上万的文本。我发现以下内容花费的时间最长:

nlp = English()
ruler = EntityRuler(nlp)
patterns = [...]
ruler.add_patterns(patterns)
nlp.add_pipe(ruler)
...
#This line takes longer than I would like
doc = nlp(whole_chat)

授予,我有很多模式。但是有没有办法加快速度呢?我只有实体标尺管道,没有其他。

答案

使用nlp.pipe()一次处理多个文本

以上是关于如何加快Spacy的nlp通话速度?的主要内容,如果未能解决你的问题,请参考以下文章

Android 中的 Spacy 版本错误使用 Chaquopy 和 nlp = spacy.load("en_core_web_sm") 错误

Spacy,在 python 中的大型数据集上使用 nlp.pipe,多处理导致进程进入睡眠状态。如何正确使用所有 CPU 内核?

如何在Spacy语言模型中为空格添加tokenizer异常

python 使用spaCy 进行NLP处理

spaCy 2.0:保存并加载自定义NER模型

如何验证已安装的 spaCy 版本?