如何加快Spacy的nlp通话速度?
Posted
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了如何加快Spacy的nlp通话速度?相关的知识,希望对你有一定的参考价值。
我必须处理成千上万的文本。我发现以下内容花费的时间最长:
nlp = English()
ruler = EntityRuler(nlp)
patterns = [...]
ruler.add_patterns(patterns)
nlp.add_pipe(ruler)
...
#This line takes longer than I would like
doc = nlp(whole_chat)
授予,我有很多模式。但是有没有办法加快速度呢?我只有实体标尺管道,没有其他。
答案
使用nlp.pipe()
一次处理多个文本
以上是关于如何加快Spacy的nlp通话速度?的主要内容,如果未能解决你的问题,请参考以下文章
Android 中的 Spacy 版本错误使用 Chaquopy 和 nlp = spacy.load("en_core_web_sm") 错误
Spacy,在 python 中的大型数据集上使用 nlp.pipe,多处理导致进程进入睡眠状态。如何正确使用所有 CPU 内核?