人工智能自然语言处理—PageRank算法和TextRank算法详解
Posted
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了人工智能自然语言处理—PageRank算法和TextRank算法详解相关的知识,希望对你有一定的参考价值。
人工智能自然语言处理—PageRank算法和TextRank算法详解
一、PageRank算法
PageRank算法最初被用作互联网页面重要性的计算方法。它由佩奇和布林于1996年提出,并被用于谷歌搜索引擎的页面排名。事实上,PageRank可以在任何有向图上定义,然后应用于社会影响分析、文本摘要和其他问题。 PageRank算法的基本思想是在有向图上定义一个随机游动模型,即一阶马尔可夫链,以描述随机游动者沿着有向图随机访问每个节点的行为。在某些条件下,在极限情况下访问每个节点的概率收敛到一个平稳分布,然后每个节点的平稳概率值就是它的PageRank值,它表示节点的重要性。PageRank是递归定义的,PageRank的计算可以通过迭代算法进行。
算法公式如下:
原理如下图
PageRank算法的核心思想如下:
(1)链接数量:如果一个网页被越多的其他网页链接,说明这个网页越重要,即该网页的PR值(PageRank值)会相对较高;
(2)链接质量:如果一个网页被一个越高权值的网页链接,也能表明这个网页越重要,即一个PR值很高的网页链接到一个其他网页,那么被链接到的网页的PR值会相应地因此而提高。
代码实例:
import numpy as np
p = 0.85 #引入浏览当前网页的概率为p,假设p=0.8
a = np.array([[1,0,0,0],
[0,0,0,1],
[0,0,0,1],
[0,1,0,0]],dtype = float) #dtype指定为float
length=a.shape[1] #网页数量
#构造转移矩阵
b = np.transpose(a) #b为a的转置矩阵
m = np.zeros((a.shape),dtype = float)
for i in range(a.shape[0]):
for j in range(a.shape[1]):
#如果一个节点没有任何出链,Dead Ends
if b[j].sum()==0:
b[j]=b[j]+np.array([1/length]*length)
m[i][j] = a[i][j] / (b[j].sum()) #完成初始化分配
#pr值得初始化
v = np.zeros((m.shape[0],1),dtype = float) #构造一个存放pr值得矩阵
for i in range(m.shape[0]):
v[i] = float(1)/m.shape[0]
count=0
ee=np.array([[1/length]*length]).reshape(length,-1)
# 循环100次计算pageRank值
for i in range(100):
# 解决spider traps问题,spider traps会导致网站权重向一个节点偏移,将转移矩阵加上打开其他网页的概率1-p
v = p*np.dot(m,v) + (1-p)*ee
count+=1
print("第次迭代".format(count))
#pageRank值
print(v)
二、TextRank算法
TextRank算法是一种基于图的文本排序算法。它将文本分成几个组成单元(句子),构建节点连接图,使用句子之间的相似度作为边的权重,通过循环迭代计算句子的TextRank值,最后提取排名较高的句子,形成文本摘要。本文介绍了提取文本摘要的算法TextRank,并使用Python实现了TextRank算法的应用,从多个单域文本数据中提取句子以形成摘要。
TextRank算法的代码实例:
它是从Google的PageRank算法改进而来的,用于对网页的重要性进行排序。它使用文档中单词之间的共现信息(语义)来提取关键字。它可以从给定文本中提取关键词和关键短语,并使用提取自动摘要方法提取文本的关键句子。
# coding=utf-8
from textrank4zh import TextRank4Keyword, TextRank4Sentence
import jieba.analyse
from snownlp import SnowNLP
import pandas as pd
import numpy as np
#关键词抽取
def keywords_extraction(text):
tr4w = TextRank4Keyword(allow_speech_tags=[n, nr, nrfg, ns, nt, nz])
# allow_speech_tags --词性列表,用于过滤某些词性的词
tr4w.analyze(text=text, window=2, lower=True, vertex_source=all_filters, edge_source=no_stop_words,
pagerank_config=alpha: 0.85, )
keywords = tr4w.get_keywords(num=6, word_min_len=2)
# num -- 返回关键词数量
# word_min_len -- 词的最小长度,默认值为1
return keywords
#关键短语抽取
def keyphrases_extraction(text):
tr4w = TextRank4Keyword()
tr4w.analyze(text=text, window=2, lower=True, vertex_source=all_filters, edge_source=no_stop_words,
pagerank_config=alpha: 0.85, )
keyphrases = tr4w.get_keyphrases(keywords_num=6, min_occur_num=1)
# keywords_num -- 抽取的关键词数量
# min_occur_num -- 关键短语在文中的最少出现次数
return keyphrases
#关键句抽取
def keysentences_extraction(text):
tr4s = TextRank4Sentence()
tr4s.analyze(text, lower=True, source=all_filters)
keysentences = tr4s.get_key_sentences(num=3, sentence_min_len=6)
return keysentences
def keywords_textrank(text):
keywords = jieba.analyse.textrank(text, topK=6)
return keywords
if __name__ == "__main__":
text = "来源:中国科学报本报讯(记者肖洁)又有一位中国科学家喜获小行星命名殊荣!4月19日下午,中国科学院国家天文台在京举行“周又元星”颁授仪式," \\
"我国天文学家、中国科学院院士周又元的弟子与后辈在欢声笑语中济济一堂。国家天文台书记、" \\
"副台长赵刚在致辞一开始更是送上白居易的诗句:“令公桃李满天下,何须堂前更种花。”" \\
"据介绍,这颗小行星由国家天文台施密特CCD小行星项目组于1997年9月26日发现于兴隆观测站," \\
"获得国际永久编号第120730号。2018年9月25日,经国家天文台申报," \\
"国际天文学联合会小天体联合会小天体命名委员会批准,国际天文学联合会《小行星通报》通知国际社会," \\
"正式将该小行星命名为“周又元星”。"
#关键词抽取
keywords=keywords_extraction(text)
print(keywords)
#关键短语抽取
keyphrases=keyphrases_extraction(text)
print(keyphrases)
#关键句抽取
keysentences=keysentences_extraction(text)
print(keysentences)
部分代码解释如下:
text -- 文本内容,字符串
window -- 窗口大小,int,用来构造单词之间的边。默认值为2
lower -- 是否将英文文本转换为小写,默认值为False
vertex_source -- 选择使用words_no_filter, words_no_stop_words, words_all_filters中的哪一个来构造pagerank对应的图中的节点
默认值为all_filters
,可选值为`no_filter, no_stop_words, all_filters
edge_source -- 选择使用words_no_filter, words_no_stop_words, words_all_filters中的哪一个来构造pagerank对应的图中的节点之间的边
默认值为no_stop_words
,可选值为no_filter, no_stop_words, all_filters
。边的构造要结合window
参数
pagerank_config -- pagerank算法参数配置,阻尼系数为0.85
lower -- 是否将英文文本转换为小写,默认值为False
source -- 选择使用words_no_filter, words_no_stop_words, words_all_filters中的哪一个来生成句子之间的相似度。
默认值为all_filters
,可选值为`no_filter, no_stop_words, all_filters
sim_func -- 指定计算句子相似度的函数
获取最重要的num个长度大于等于sentence_min_len的句子用来生成摘要
三、PageRank算法与TextRank算法的区别
-
PageRank算法根据网页之间的链接关系构造网络,TextRank算法根据词之间的共现关系构造网络;
PageRank算法:
TextRank算法:
- PageRank算法构造的网络中的边是有向无权边,TextRank算法构造的网络中的边是无向有权边。
以上是关于人工智能自然语言处理—PageRank算法和TextRank算法详解的主要内容,如果未能解决你的问题,请参考以下文章
MapReduce 之PageRank 算法概述设计思路和源码分析