python flashtext模块安装使用方法

Posted 2021-02-20 pcat

FlashText算法可用于大规模替换、检索文档中的关键字。

本文要介绍的是FlashText算法的python实现模块。

 

论文：https://arxiv.org/abs/1711.00046

文章：FlashText – A library faster than Regular Expressions for NLP tasks

Github：https://github.com/vi3k6i5/flashtext

------------------

0x01 安装

pip install flashtext

 

0x02 使用方法

传统的replace连用：

s = "spamham sha"
print s.replace(‘spam‘,‘eggs‘).replace(‘sha‘,‘md5‘)
# eggmd5m md5

这里的结果是eggsham也被替换成eggmd5m，我们想要一次性替换的话，一般会想到使用re.sub，然而使用正则多次替换字符串的效率很低。

使用flashtext可以提高其替换效率：

参数也可以从字典里获取，只不过注意要替换成的字符串是key：

 

 

0x03 其他用法

等pcat有空再更新