Handlp 分词加词典关键字提取摘要短语提取依法依据分析(含代码直接运行即可)

Posted smartisn

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Handlp 分词加词典关键字提取摘要短语提取依法依据分析(含代码直接运行即可)相关的知识,希望对你有一定的参考价值。

简单分词:

1 from pyhanlp import *
2 content = "现如今,机器学习和深度学习带动人工智能飞速的发展,并在图片处理、语音识别领域取得巨大成功。"
3 Get_value=HanLP.segment(content)
4 print(Get_value)

输出:

技术图片

 

加词典:

1 from pyhanlp import *
2 content = "现如今,机器学习和深度学习带动人工智能飞速的发展,并在图片处理、语音识别领域取得巨大成功。"
3 # insert会覆盖字典中已经存在的词,add会跳过已经存在的词
4 CustomDictionary.add("图片处理", "nr 300")
5 CustomDictionary.insert("语音识别", "nz 1024")
6 CustomDictionary.add("巨大成功", "nz 1024 n 1")
7 
8 Get_value=HanLP.segment(content)

输出:

技术图片

 

 

 

关键字提取:

1 from pyhanlp import *
2 document = "水利部水资源司司长陈明忠9月29日在国务院新闻办举行的新闻发布会上透露," 3            "根据刚刚完成了水资源管理制度的考核,有部分省接近了红线的指标," 4            "有部分省超过红线的指标,对一些超过红线的地方,陈明忠表示,对一些取用水项目进行区域的限批," 5            "严格地进行水资源论证和取水许可的批准。"
6 #关键字
7 print(HanLP.extractKeyword(document, 2))

输出:

技术图片

 

 

 摘要:

 1 #摘要 2 print(HanLP.extractSummary(document, 4)) 

输出:

技术图片

 

 

 短语:

 1 #短语 2 phrases = HanLP.extractPhrase(document,10) 3 print(phrases) 

技术图片

 

 

依法依词分析

1 #依法依据分析
2 sentence = HanLP.parseDependency(document)
3 for word in sentence.iterator():  # 通过dir()可以查看sentence的方法
4     print("%d %s/%s --(%s)--> %s(%s)" % (word.ID, word.LEMMA, word.POSTAG, word.DEPREL, word.HEAD.LEMMA, word.HEAD.ID))

技术图片

 

以上是关于Handlp 分词加词典关键字提取摘要短语提取依法依据分析(含代码直接运行即可)的主要内容,如果未能解决你的问题,请参考以下文章

SnowNLP:?中文分词?词性标准?提取文本摘要,?提取文本关键词,?转换成拼音?繁体转简体的 处理中文文本的Python3 类库

基于统计的中文词语提取

基于java的中文分词工具ANSJ

ES中文分词器之精确短语匹配(解决了match_phrase匹配不全的问题)

机器学习之自然语言处理——中文分词jieba库详解(代码+原理)

Python 中文分词 jieba(小白进)