R语言文本处理中文分词并制作文字云

Posted 农小游

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了R语言文本处理中文分词并制作文字云相关的知识,希望对你有一定的参考价值。

本文主要介绍R语言在进行文本处理中常用的一些包,包括tm,tmcn处理语料库的套件,中文分词套件jieba和文字云套件wordcloud2。

点击以下链接查看其它R语言文本挖掘系列文章

早日毕业:R语言文本挖掘套件系列2-网络爬虫基础rvest

早日毕业:R语言文本挖掘套件系列2-网络爬虫RSelenium套件

早日毕业:R语言文本挖掘套件系列3-网络新闻与文本探勘(爬虫结合jieba,tm,wordcloud2)

tm套件-文本挖掘

tm套件主要用于数据清理和语料库导出。可以清除空白字符、数字、英文标点符号及与号、英文停用词、中文标点符号、中文停用词。

准备工作

#现在D:\R\tm 建立Corpus和Corpus_OUT两个文件夹

#在Corpus建立记事本(存档时选择ANSI编码)

#记事本1 tm_A.txt 今天是西元2020年3月4日.早上出门是暴雨,因此,全身湿哒哒的,连鞋 子也湿了!

#记事本2 tm_B.txt 今天是西元2020年3月5日. It's raining today outside, I'm going to the office.

#记事本3 tm_C.txt 今天是西元2020年3月6日. I'm so busy today.

#安装tm套件

install.packages("tm",destdir = "E:\\runtime\\Rlibrary")

library(tm)

### 载入资料 ###

#把文件夹内的记事本文件输入资料库

Corpus_A<-Corpus(DirSource("D:\\R\\tm\\Corpus"))

#检视资料库

inspect(Corpus_A)

数据清理

#转化函数tm_map

#清除/n

Corpus_B<-tm_map(Corpus_A,stripWhitespace)

inspect(Corpus_B)

#清除数字

Corpus_C<-tm_map(Corpus_B,removeNumbers)

inspect(Corpus_C)

#清除英文标点符号

Corpus_D<-tm_map(Corpus_B,removePunctuation)

inspect(Corpus_D)

#英文停用词(出现频率非常高,但对文章没有实际意义,如“to","the","of"

Corpus_E<-tm_map(Corpus_B,removeWords,stopwords("english"))

inspect(Corpus_E)

#清除中文标点符号(函数gsub的取代功能)

Corpus_F<-tm_map(Corpus_B,function(word){gsub("!","",word)})

inspect(Corpus_F)

#使用正则表达式

Corpus_G<-tm_map(Corpus_B,function(word){gsub("[.!0-9A-Za-z]","",word)})

inspect(Corpus_G)

#清除中文停用词(gsub函数的限制:一次只能一个)

Corpus_H<-tm_map(Corpus_B,function(word){gsub("是","",word)})

inspect(Corpus_H)

#利用gsub函数清除多规格字词,使用for循环

my_stopword<-c("是","因此","连","了")

for(i in my_stopword)

{

Corpus_B<-tm_map(Corpus_B,function(word){gsub(i,"",word)})

}

inspect(Corpus_B)

#处理结束后,将资料输出到文件

writeCorpus(Corpus_B,path="D:\\R\\tm\\Corpus_OUT")

tmcn套件-文本挖掘中文辅助

#install.packages("tmcn",destdir = "E:\\runtime\\Rlibrary")

library(tmcn)

#繁简体转换

word_A<-c("我們將學習R語言,把繁體轉換成簡體")

word_B<-c("我们将学习R语言,把简体转换成繁体")

#查看转换前编码

Encoding(word_A)

#方法一 iconv函数转换编码

word_A<-iconv(word_A,"","UTF-8")

Encoding(word_A)

#方法二 enc2utf8函数转换编码

word_A<-enc2utf8(word_A)

Encoding(word_A)

#统一utf-8编码后,使用函数toTrad函数繁简体转换

toTrad(word_A,rev=T)

toTrad(word_B,rev=F)

##---stopwordsCN函数----##

#现在D:\R中,建立tmcn文件夹

#函数stopwordsCN是常用的处理资料库中中文停用词

stop<-stopwordsCN()

Encoding(stop)

stop_TW<-toTrad(stop,rev=T)

#资料导出

#将停用词处理成繁体保存,供后续使用

#函数write.csv,存成csv文件

#先转换成数据框格式

stop_data<-data.frame(stop_TW)

write.csv(stop_data,file="D:\\R\\tmcn\\stop_data.csv",row.names = FALSE)

#存成txt文档

#参数col.names=FALSE 删除行列名称

#参数quote=FALSE 字符串不用引号表示

write.table(stop_TW,file="D:\\R\\tmcn\\stop_data.txt",row.names=FALSE,col.names=F ALSE,quote=FALSE,fileEncoding = "UTF-8")

jiebaR套件-中文分词

#先把资料存成记事本(通常为ANSI或UTF-8格式)D:\R\jieba\pig_UTF8.txt

#从前,有一只胖胖的猪妈妈,她生了三只小猪。

#最大的小猪:猪大哥很贪睡,很懒惰,一天到晚都在打瞌睡。

#第二个小猪:猪二哥很爱吃,他也很懒惰。

#幸好最小的小猪:猪小弟是个勤劳的好孩子,常常努力的工作。

#使用readr包read.lines读取txt

library(readr)

#文字编码为utf-8或者ANSI的输入

readLines("D:\\R\\jieba\\pig_ANSI.txt")

pig<-readLines("D:\\R\\jieba\\pig_UTF8.txt",encoding = "UTF-8")

#中文断词

library(jiebaR)

#建立分词引擎 名为cutword

cutword<-worker()

cutword

#初步断词

cutword[pig]

#增加停用词 减少赘词

#使用tmcn套件中的stopwordsCN的停用词

cutword<-worker(stop_word ="D:/R/tmcn/stop_data.txt" )

cutword

#查看断词结果

cutword[pig]

#增加字词:如:名字、专有名词、形容词...

add<-c("猪妈妈","三只小猪","猪大哥","猪二哥","猪小弟")

new_user_word(cutword,add)

#查看断词结果

pig_A<-cutword[pig]

#删除字符数为1的无用词

#套件stringr,函数str_count()计算字符数

pig_B<-pig_A[str_count(pig_A)>1]

Wordcloud2套件-制作文字云

#完成断词后,制作文字云的准备工作

#table函数,计算名词出现次数

table_A<-table(pig_B)

#sort函数,排序次数

table_B<-sort(table_A,decreasing = T)

#转换为数据框

table_C<-data.frame(table_B)

#载入wordcloud2套件

library(wordcloud2)

wordcloud2(table_C)


以上是关于R语言文本处理中文分词并制作文字云的主要内容,如果未能解决你的问题,请参考以下文章

R语言之文本挖掘--分词

R语言文本挖掘朱自清写《匆匆》时的情感状态

浅谈文本分析分词及关系图

如何用R语言做中文分词

中文分词实践(基于R语言)

上车 | R语言中文分词10分钟快速入门