NLP中一些工具列举

Posted 2023-03-08 Icy Hunter

文章目录

• StanfordcoreNLP
• Stanza
• Tankit
• spaCy
• SuPar
• 总结

StanfordcoreNLP

这个老早就出来了，用java写的，但是已经有很多比他效果好的了。

Stanza

2020ACL发表的，看名字就知道和上一个是同一家的。

用已经切好词的句子进行依存分析。

这个功能有什么好处呢？
一开始一直不知道这个功能的好处，这个就是在你已有数据集的基础上，想加点依存或者句法等信息进去的时候，切好词放进去能确保分析结果一一对应，不然切词器用的不一样，结果是不能完美对应回去的，这样处理起来就非常恶心了。

按道理来说应该每个切词器都会有这个功能吧。

import stanza
nlp = stanza.Pipeline(lang='en', tokenize_pretokenized=True)
doc = nlp(["Stanza is a powerful$NLP library.".split()])
for sent in doc.sentences:
  print(sent.print_dependencies())

输出结果：

Tankit

2021EACL文章里的

看这结果好像比Stanza好，但是实际上使用人数Stanza更多毕竟老行家，老客户多，而且github上回答问题也很积极，就是说售后工作不错，实验效果的话，可能还是Stanza会好些。

spaCy

这东西主要是快，工业用的，做研究为了效果应该不差这点时间。看过没用过。

SuPar

https://github.com/yzhangcs/parser
封装了Biaffine和CRF等用了解析依存树或者句法树的模型，不过我好像试了没运行成功，好像是模型下太慢了，用户体验其实不怎么样，但是它里面说效果是SOTA，但现在毕竟2023，只能说效果不会差，工具不算老。

总结

应该还有很多，上面主要是对应英文的，但是其实他们也大部分支持中文，对于中文也有很多，如jieba，哈工大的LTP，百度LAC，jiagu等等。

工具很多，知道名字才能进行信息搜集和对比，不然要干啥都不知道。