数据挖掘——文本挖掘-关键字提取
Posted rix-yb
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了数据挖掘——文本挖掘-关键字提取相关的知识,希望对你有一定的参考价值。
基于jieba包的自动提取
关键方法:jieba.analyse.extract_tags(content,topK=n)
具体思路:通过jieba包自带的extract_tags方法,在遍历读取文件内容时,获得每篇文档前n个关键字
使用的包:
import os import codecs import pandas as pd import jieba import jieba.analyse
过程:
‘‘‘定义变量 文件路径/文件内容/关键字(5个)‘‘‘ filepaths = [] contents =[] tag1 = [] tag2 = [] tag3 = [] tag4 = [] tag5 = [] #遍历文件,同时得到关键字 for root, dirs, files in os.walk( r‘path‘): for name in files: filepath = root + ‘\‘ +name #根目录加文件名构成文件路径 f = codecs.open(filepath,‘r‘,‘utf-8‘) #根据文件路径以只读的形式打开文件 content = f.read().strip() #将文件内容传入content变量 f.close() #关闭文件 tags = jieba.analyse.extract_tags(content,topK=5) #根据文件内容获取前5个关键字(出现次数最多) filepaths.append(filepath) #得到文件路径的集合 contents.append(content) #得到文件内容的集合 tag1.append(tags[0]) tag2.append(tags[1]) tag3.append(tags[2]) tag4.append(tags[3]) tag5.append(tags[4]) tagDF = pd.DataFrame({ ‘文件路径‘:filepaths, ‘文件内容‘:contents, ‘关键词1‘:tag1, ‘关键词2‘:tag2, ‘关键词3‘:tag3, ‘关键词4‘:tag4, ‘关键词5‘:tag5})
最终得到包含文件路径,文件内容,和每篇5个关键字的数据框
基于TF-IDF算法的手动提取
关键:基于TF-IDF原理,引入分词权重的概念
词频(TF)
逆文档频率(IDF):词的权重,即词的重要程度
TF-IDF:权衡某个分词是否关键词的指标,值越大,是关键字的可能性就越大
TF-IDF的计算公式:
TF=该词在文档中出现的次数
IDF=log[文档总数/(包含该词的文档数+1)]
TF-IDF = TF*IDF
Tips:只提取中文关键字,用正则表达式判断分词是否为中文
具体实现:
#创建语料库,导入停用词
#获得分词结果
import re zh = re.compile(u‘[u4e00-u9fa5]+‘) import jieba segments = [] filepath = [] #导入停用词 stopwords = pd.read_csv(r‘path‘,encoding=‘utf-8‘,index_col=False) for index, row in corpos.iterrows(): filePath = row[‘filePath‘] fileContent = row[‘fileContent‘] segs = jieba.cut(fileContent) for seg in segs: if zh.search(seg): #只匹配中文分词 if (seg not in stopwords.stopword.values) and (len(seg.strip())>1): #取非停用词和长度>1的词 segments.append(seg) filepath.append(filePath) segmeng_DF = pd.DataFrame({ ‘segment‘: segments, ‘filePath‘: filepath})
#词频统计
import numpy as np segcount = segmeng_DF.groupby(by=[‘filePath‘,‘segment‘ ])[‘segment‘].agg({‘词频‘:np.size} ).reset_index().sort_values(by=[‘词频‘],ascending=False) segcount = segcount[segcount.词频 > 1] #只取词频大于1的分词
#词频向量化运算
TF =segcount.pivot_table(index=‘filePath‘, columns=‘segment‘, values=‘词频‘, fill_value=0) TF.columns #列名是各篇文章的分词集合
#根据公式分别得到IDF和TF-IDF的值
def hanlder(x): return (np.log2(len(corpos) / (np.sum(x>0)+1))) IDF = TF.apply(hanlder) #结果是各分词的权重 TF_IDF = pd.DataFrame(TF*IDF) TF_IDF.columns #列名是各篇文章的分词集合 TF_IDF.index #索引是文件路径
#获取关键字
tag1 = [] tag2 = [] tag3 = [] tag4 = [] tag5 = [] for filePath in TF_IDF.index: tagis = TF_IDF.loc[filePath].sort_values(ascending=False)[:5].index tag1.append(tagis[0]) tag2.append(tagis[1]) tag3.append(tagis[2]) tag4.append(tagis[3]) tag5.append(tagis[4])
#最后得到包含文件路径,文件内容,和每篇5个关键字数据框
以上是关于数据挖掘——文本挖掘-关键字提取的主要内容,如果未能解决你的问题,请参考以下文章