文本挖掘-wordcloud主题模型与文本分类

Posted 淘数据

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了文本挖掘-wordcloud主题模型与文本分类相关的知识,希望对你有一定的参考价值。

本文主要介绍文本挖掘的常见方法,主要包括词频分析及wordcloud展现、主题模型、文本分类、分类评价等。分类主要包括无监督分类(系统聚类、KMeansstring kernals),有监督分类(knnSVM)。

一、文本挖掘概念 

   将数据挖掘的成果用于分析以自然语言描述的文本,这种方法被称为文本挖掘(Text Mining)或文本知识发现(Knowledge Discovery in Text)

文本挖掘主要过程:特征抽取、特征选择、文本分类、文本聚类、模型评价。

    主题模型(Topic Mode)介绍

    主题模型是专门抽象一组文档所表达 “主题” 的统计技术。

    最早的模型是 probabilistic latent semantic indexing (PLSI),后来 Latent Dirichlet allocation

(LDA,潜在狄利克雷分配模型模型成为了最常见的主题模型,它可以认为是 PLSI 的泛化形式。LDA 主题模型涉及到贝叶斯理论、Dirichlet 分布、多项分布、图模型、变分推断、EM 算法、Gibbs 抽样等知识。

二、实例分析
0.数据预处理

数据来源于sougou实验室数据。

数据网址:http://download.labs.sogou.com/dl/sogoulabdown/SogouC.mini.20061102.tar.gz

文件结构

└─Sample

    ├─C000007 汽车

    ├─C000008 财经

    ├─C000010  IT

    ├─C000013 健康

    ├─C000014 体育

    ├─C000016 旅游

    ├─C000020 教育

    ├─C000022 招聘

    ├─C000023

    └─C000024 军事

采用Python对数据进行预处理为train.csv文件,并把每个文件文本数据处理为1行。

1.读取资料库

  1. setwd("d:\Testing\R\w12")

  2. csv <- read.csv("train.csv",header=T, stringsAsFactors=F)

  3. mystopwords<- unlist (read.table("StopWords.txt",stringsAsFactors=F))

2. 数据预处理(中文分词、stopword处理)

  1. library(tm)

  2. #移除数字

  3. removeNumbers = function(x) { ret = gsub("[0-90123456789]","",x) }

  4. #对词进行处理

3.wordcloud展示

  1. library(wordcloud)

  2. #不同文档wordcloud对比图

  3. sample.tdm <-  TermDocumentMatrix(corpus, control = list(wordLengths = c(2, Inf)))

  4. tdm_matrix <- as.matrix(sample.tdm)

  5.  

  6. png(paste("sample_comparison",".png", sep = ""), width = 1500, height = 1500 )

  7. comparison.cloud(tdm_matrix)

  8. title(main = "sample comparision")

  9. dev.off()

  10.  


文本挖掘-wordcloud、主题模型与文本分类 

  1. #按分类汇总wordcloud对比图

  2. n <- nrow(csv)

  3. zz1 = 1:n

  4. cluster_matrix<-sapply(unique_type,function(type){apply(tdm_matrix[,zz1[csv$type==type]],1,sum)})

  5. png(paste("sample_ cluster_comparison",".png", sep = ""), width = 800, height = 800 )

  6. comparison.cloud(cluster_matrix)

  7. title(main = "sample cluster comparision")

  8. dev.off()

  9.  


文本挖掘-wordcloud、主题模型与文本分类

可以看出数据分布不均匀,cultureauto等数据很少。

  1. #按各分类画wordcloud

  2. sample.cloud <- function(cluster, maxwords = 100) {

  3.     words <- sample.words[which(csv$type==cluster)]

  4.     allwords <- unlist(words)

  5.  

  6.     wordsfreq <- sort(table(allwords), decreasing = T)

  7.     wordsname <- names(wordsfreq) 

  8.  

  9.     png(paste("sample_", cluster, ".png", sep = ""), width = 600, height = 600 )

  10.     wordcloud(wordsname, wordsfreq, scale = c(6, 1.5), min.freq = 2, max.words = maxwords, colors = rainbow(100))

  11.     title(main = paste("cluster:", cluster))

  12.     dev.off()

  13. }

  14. lapply(unique_type,sample.cloud)# unique(csv$type)

  15.  

#列出第一副和最后一幅图文本挖掘-wordcloud、主题模型与文本分类 
文本挖掘-wordcloud、主题模型与文本分类 

4.主题模型分析

  1. library(slam)

  2. summary(col_sums(sample.dtm))

  3. term_tfidf  <- tapply(sample.dtm$v/row_sums( sample.dtm)[ sample.dtm$i],   sample.dtm$j,  mean)*

  4. log2(nDocs( sample.dtm)/col_sums( sample.dtm  >  0))

  5.         summary(term_tfidf)

  6.  

文本挖掘-wordcloud、主题模型与文本分类 

  1. sample.dtm  <-  sample.dtm[,  term_tfidf  >=  0.1]

  2. sample.dtm  <-  sample.dtm[row_sums(sample.dtm)  >  0,]

  3.  

文本挖掘-wordcloud、主题模型与文本分类 

α估计严重小于默认值,这表明Dirichlet分布数据集中于部分数据,文档包括部分主题。 

  1. sapply(sample_TM,  function(x)  mean(apply(posterior(x)$topics,1,  function(z) -sum(z*log(z)))))

文本挖掘-wordcloud、主题模型与文本分类 
数值越高说明主题分布更均匀

  1. #最可能的主题文档

  2. Topic  <-  topics(sample_TM[[“VEM”]],  1)

  3. #每个Topc前5个Term

  4. Terms  <-  terms(sample_TM[[“VEM”]],  5)

  5. Terms[,  1:10]

  6.  

文本挖掘-wordcloud、主题模型与文本分类 
从结果来看,与原有手工10大分类“汽车、财经、IT、健康、体育、旅游、教育、招聘、文化、军事”对比,可以发现旅游、军事等主题还比较明显,但总的效果不是很理想(可以和“按分类汇总wordcloud对比图”对比一下)。

5.文本分类-无监督分类,包括系统聚类、KMeans、string kernals。

  1. sample_matrix = as.matrix(sample.dtm)

  2.        rownames(sample_matrix) <- csv$type

  • 系统聚类


文本挖掘-wordcloud、主题模型与文本分类 可见和主题模型得出结论相同,数据分布过于集中。说明数据集可能还不够具有代表性。

lKMeans分类

  1. sample_KMeans  <-  kmeans(sample_matrix,  k)

  2. library(clue)

  3. #计算最大共同分类率

  4. cl_agreement(sample_KMeans,  as.cl_partition(csv$type),  "diag")

  5.  

复制代码


文本挖掘-wordcloud、主题模型与文本分类 

分类效果比较差。

string kernels

  1. library("kernlab")

  2. stringkern  <-  stringdot(type  =  "string")

  3. stringC1 <- specc(corpus, 10, kernel=stringkern)

  4. #查看统计效果

  5. table("String  Kernel"=stringC1,  cluster = csv$type )

  6.  

文本挖掘-wordcloud、主题模型与文本分类

可以看出travel、education分类准确,auto、it、health等分类效果差。 

6.文本分类-有监督分类,包括knn、SVM

把数据随机抽取90%作为学习集,剩下10%作为测试集。实际应用中应该进行交叉检验,这里简单起见,只进行一次抽取。

  1. n <- nrow(csv)

  2. set.seed(100)

  3. zz1 <- 1:n

  4. zz2 <- rep(1:k,ceiling(n/k))[1:n] #k <- length(unique(csv$type))

  5. zz2 <- sample(zz2,n)

  6.  

  7. train <- sample_matrix[zz2<10,]

  8. test <- sample_matrix[zz2==10,]

  9. trainC1 <- as.factor(rownames(train))

  10.  

l Knn分类

  1. library(class)

  2. sample_knnCl  <-  knn(train, test, trainC1)

  3. trueC1 <- as.factor(rownames(test))

  4. #查看预测结果

  5. (nnTable  <-  table("1-NN" = sample_knnCl,  sample =  trueC1))

  6.  

文本挖掘-wordcloud、主题模型与文本分类 

  1. sum(diag(nnTable))/nrow(test)

文本挖掘-wordcloud、主题模型与文本分类 

看样样本集少预测效果是不好。 

l SVM分类

  1. rownames(train) <- NULL

  2. train <- as.data.frame(train)

  3. train$type <- trainC1

  4. sample_ksvm  <-  ksvm(type~., data=train)

  5. svmCl  <-  predict(sample_ksvm,test)

  6. (svmTable <-table(SVM=svmCl, sample=trueC1))

  7.  

文本挖掘-wordcloud、主题模型与文本分类 

  1. sum(diag(svmTable))/nrow(test)

 
看上去svm方法效果比较好些。

7.其他分类
  文本数据经过矩阵化转换后,变为普通的Matrix或data.frame结构,传统数据挖掘方法都可以使用,如决策数、神经网络等,对此不再细述。

总结

   本文介绍了文本挖掘常见的方法,因学习时间比较短,很多细节部分也没有展开描述,加之数据集选的不给力(样本少),计划下载些新闻进行分类预测暂且搁置。

另外对大数据量的文本的分析,可以考虑R结合Hadoop进行分布式分析。


以上是关于文本挖掘-wordcloud主题模型与文本分类的主要内容,如果未能解决你的问题,请参考以下文章

R语言 数据挖掘-文本分析(1)

《沉默的真 相》的舆情分析及文本挖掘——以微博爱奇艺弹幕bilibili为例

分享1:文本挖掘之WordCloud

R语言文本挖掘+词云显示(jiebaR包+wordcloud2包)

基于LDA主题模型的短文本分类

R语言中对文本数据进行主题模型topic modeling分析