R包之tm：文本挖掘包

Posted 2021-04-16 PPV课数据科学社区

• 简介

• 安装

• 数据输入—文集(corpus)

• 数据输出

• 查看语料库(corpora)

• 查看某几条信息

• 查看单个文档元数据

• 查看单个文档内容

• 查看多个文档内容

• 变换(transformation)

• 过滤器

• 元数据管理

• 标准操作和函数

• 创建文档-单词矩阵

• 文档-单词矩阵的操作

• 字典

• 关于中文支持

本文参考文档：

1. tm的使用指南 : http://mirror.bjtu.edu.cn/cran/web/packages/tm/vignettes/tm.pdf

2. tm手册 : http://mirror.bjtu.edu.cn/cran/web/packages/tm/tm.pdf

简介

tm 即text mining，是用来做文本挖掘的一个R包，是一个进行自然语言处理的基础包。它提供了一些做文本挖掘的基础设施，比如数据输入，文集处理，预处理，元数据管理，创建单词-文本矩阵。

安装

该包的安装方法是install.packages("tm")

数据输入—文集(corpus)

文集代表一个文档集，通常一个文件就是一个文档。多个文档构成一个文集。文集是一个抽象的概念，具体的实现方式有几种，一个是VCorpus（Volatile Corpus），这种文集完全存储在内存中。故而不能很大。这个文集的创建方法为 VCorpus(x,readerControl)。 另一个实现是PCorpus1 (Permanent Corpus)，这种实现方式下，内存中只是存储文档的指针，真正的文档存储在磁盘上（文件或者数据库）。

文集创建的第一个参数x必须是一个Source对象，tm提供了一些预定义的source。比如DirSrouce,VectorSource,DataframeSource等，它们分别用来处理一个目录，一个向量（每个元素为一个文档），和数据框结构（比如csv）的文档。可以利用getSources()来得到所有可用的source，用户也可以建立自己的source。

文集创建的第二个参数是readerControl,这个参数必需是一个列表，其中包含组件reader和language。其中:

• reader负责创建一个文档。而文档的来源是source传递过来的每个元素。下面是简单的处理流程

  source  --> elements ---> reader ---> document

  其中，tm包中有几种reader，比如readPlain(),readPDF(),readDOC()等等，可以利用getReaders()来获得所有可以的reader。

  每个source都对应有一个缺省的reader，比如DirSource的reader就是读入文件，把文件的内容作为字符串。这个reader是可以被替换的。

• language 指明文本的语言

因此，对于包tm目录下的texts/txt目录下的文本文件可以这样做成一个文集

library(tm)#> Loading required package: NLPtxt <- system.file("texts","txt",package="tm")
vid = VCorpus(DirSource(txt, encoding = "UTF-8"), readerControl = list(language="lat"))
vid#> <<VCorpus>>#> Metadata:  corpus specific: 0, document level (indexed): 0#> Content:  documents: 5

最简单的VectorSource，可以用来最简单的测试，比如

docs <- c("hello doc1", "hello doc2") 
VCorpus(VectorSource(docs))#> <<VCorpus>>#> Metadata:  corpus specific: 0, document level (indexed): 0#> Content:  documents: 2

最后可以看一个指定外部reader的例子

reut21578 <- system.file("texts", "crude", package = "tm")
reuters <- VCorpus(DirSource(reut21578),                    readerControl = list(reader = readReut21578XMLasPlain))

数据输出

文集中的数据可以直接输出，比如前面读入的文集，可以这样写到磁盘上去writeCorpus(vid)， 每个文档会生成一个文件

查看语料库(corpora)

print(vid)只是给出了最简单的信息，要查看更多的信息，可使用inspect()

查看某几条信息

inspect(vid[1:2])#> <<VCorpus>>#> Metadata:  corpus specific: 0, document level (indexed): 0#> Content:  documents: 2#> #> [[1]]#> <<PlainTextDocument>>#> Metadata:  7#> Content:  chars: 676#> #> [[2]]#> <<PlainTextDocument>>#> Metadata:  7#> Content:  chars: 700

查看单个文档元数据

meta(vid[[2]])#>   author       : character(0)#>   datetimestamp: 2016-03-09 01:45:14#>   description  : character(0)#>   heading      : character(0)#>   id           : ovid_2.txt#>   language     : lat#>   origin       : character(0)

查看单个文档内容

as.character(vid[[2]])#>  [1] "    quas Hector sensurus erat, poscente magistro"   #>  [2] "         verberibus iussas praebuit ille manus."    #>  [3] "    Aeacidae Chiron, ego sum praeceptor Amoris:"    #>  [4] "         saevus uterque puer, natus uterque dea."   #>  [5] "    sed tamen et tauri cervix oneratur aratro,"     #>  [6] ""                                                   #>  [7] "         frenaque magnanimi dente teruntur equi;"   #>  [8] "    et mihi cedet Amor, quamvis mea vulneret arcu"  #>  [9] "         pectora, iactatas excutiatque faces."      #> [10] "    quo me fixit Amor, quo me violentius ussit,"    #> [11] "         hoc melior facti vulneris ultor ero:"      #> [12] ""                                                   #> [13] "    non ego, Phoebe, datas a te mihi mentiar artes,"#> [14] "         nec nos aëriae voce monemur avis,"         #> [15] "    nec mihi sunt visae Clio Cliusque sorores"      #> [16] "         servanti pecudes vallibus, Ascra, tuis:"   #> [17] "    usus opus movet hoc: vati parete perito;"

查看多个文档内容

lapply(vid[1:2],as.character)#> $ovid_1.txt#>  [1] "    Si quis in hoc artem populo non novit amandi,"    #>  [2] "         hoc legat et lecto carmine doctus amet."     #>  [3] "    arte citae veloque rates remoque moventur,"       #>  [4] "         arte leves currus: arte regendus amor."      #>  [5] ""                                                     #>  [6] "    curribus Automedon lentisque erat aptus habenis," #>  [7] "         Tiphys in Haemonia puppe magister erat:"     #>  [8] "    me Venus artificem tenero praefecit Amori;"       #>  [9] "         Tiphys et Automedon dicar Amoris ego."       #> [10] "    ille quidem ferus est et qui mihi saepe repugnet:"#> [11] ""                                                     #> [12] "         sed puer est, aetas mollis et apta regi."    #> [13] "    Phillyrides puerum cithara perfecit Achillem,"    #> [14] "         atque animos placida contudit arte feros."   #> [15] "    qui totiens socios, totiens exterruit hostes,"    #> [16] "         creditur annosum pertimuisse senem."         #> #> $ovid_2.txt#>  [1] "    quas Hector sensurus erat, poscente magistro"   #>  [2] "         verberibus iussas praebuit ille manus."    #>  [3] "    Aeacidae Chiron, ego sum praeceptor Amoris:"    #>  [4] "         saevus uterque puer, natus uterque dea."   #>  [5] "    sed tamen et tauri cervix oneratur aratro,"     #>  [6] ""                                                   #>  [7] "         frenaque magnanimi dente teruntur equi;"   #>  [8] "    et mihi cedet Amor, quamvis mea vulneret arcu"  #>  [9] "         pectora, iactatas excutiatque faces."      #> [10] "    quo me fixit Amor, quo me violentius ussit,"    #> [11] "         hoc melior facti vulneris ultor ero:"      #> [12] ""                                                   #> [13] "    non ego, Phoebe, datas a te mihi mentiar artes,"#> [14] "         nec nos aëriae voce monemur avis,"         #> [15] "    nec mihi sunt visae Clio Cliusque sorores"      #> [16] "         servanti pecudes vallibus, Ascra, tuis:"   #> [17] "    usus opus movet hoc: vati parete perito;"

变换(transformation)

变换指通过tm_map函数来对文集中所有的文档作用一个函数的过程。比如停用词剔除等。每个变换只是作用在一个文档 上，tm_map来把它作用到所有的文档。

比如

• 剔除多余的空白tm_map(vid,stripWhitespace)

• 转换为小写 tm_map(vid,content_transformer(tolower))

  其中的content_transformer是一个修改文档内容的方便的函数，tolower可以是任何其他的字符串修改函数

• 移除停用词

  reuters <- tm_map(reuters, removeWords, stopwords("english"))

过滤器

过滤器可以移除不感兴趣的（或者感兴趣的）文档。tm提供了tm_filter函数，这个函数的原型为

1. tm_filter(x, FUN,...)

2. tm_index(x,FUN,...)

其中的FUN函数出入为一片文档，输出为一个bool值。表示是否接受该文档。第二个版本tm_index 只是返回满足条件的index，前者返回一个文集，下面是一个使用示例：

data("crude")# Full-text searchtm_filter(crude, FUN = function(x) any(grep("co[m]?pany", content(x))))

元数据管理

元数据分为两个层次，一个是文集级别的元数据，一个是文档级别的元数据。要获得元数据，最简单的是 使用meta()函数。每篇文档，有些预定义的元数据（比如author），但是每篇文档也可以添加自定义的 元数据标签。如下所示，分别用DublinCore和meta函数来修改一个文档的元数据

data(crude)DublinCore(crude[[1]], "Creator") <- "Ano Nymous"meta(crude[[1]])#>   author       : Ano Nymous#>   datetimestamp: 1987-02-26 17:00:56#>   description  : #>   heading      : DIAMOND SHAMROCK (DIA) CUTS CRUDE PRICES#>   id           : 127#>   language     : en#>   origin       : Reuters-21578 XML#>   topics       : YES#>   lewissplit   : TRAIN#>   cgisplit     : TRAINING-SET#>   oldid        : 5670#>   places       : usa#>   people       : character(0)#>   orgs         : character(0)#>   exchanges    : character(0)meta(crude[[1]], "author") <- "Jiang Hang"meta(crude[[1]])#>   author       : Jiang Hang#>   datetimestamp: 1987-02-26 17:00:56#>   description  : #>   heading      : DIAMOND SHAMROCK (DIA) CUTS CRUDE PRICES#>   id           : 127#>   language     : en#>   origin       : Reuters-21578 XML#>   topics       : YES#>   lewissplit   : TRAIN#>   cgisplit     : TRAINING-SET#>   oldid        : 5670#>   places       : usa#>   people       : character(0)#>   orgs         : character(0)#>   exchanges    : character(0)

下面是修改文集级别元数据的列子

meta(crude, tag = "url", type = "corpus") <- "http://www.bagualu.net"meta(crude, type = "corpus")#> $url#> [1] "http://www.bagualu.net"#> #> attr(,"class")#> [1] "CorpusMeta"

每个元数据的数据可以是dataframe结构的。

标准操作和函数

标准的操作符[,[[,[<-,[[<-,c(),lapply()可以直接作用在corpora(语料库)上

创建文档-单词矩阵

tm中，函数TermDocumentMatrix和DocumentTermMatrix可直接创建文档-单词矩阵，这二者的却别 在于矩阵的行是文档还是单词

dtm <- DocumentTermMatrix(reuters)inspect(dtm[5:10, 740:743])#> <<DocumentTermMatrix (documents: 6, terms: 4)>>#> Non-/sparse entries: 2/22#> Sparsity           : 92%#> Maximal term length: 9#> Weighting          : term frequency (tf)#> #>      Terms#> Docs  needs. negative negotiate neither#>   211      0        0         0       0#>   236      0        0         0       0#>   237      1        0         0       0#>   242      0        0         0       0#>   246      0        0         0       0#>   248      0        1         0       0

文档-单词矩阵的操作

有了矩阵以后，可以有很多R函数可以作用于它，但是tm包提供了一些常用的函数，比如你想找到那些至少 出现了10次的单词，使用findFreqTerms()函数

findFreqTerms(dtm,10)#>  [1] "about"      "and"        "are"        "bpd"        "but"       #>  [6] "crude"      "dlrs"       "for"        "from"       "government"#> [11] "has"        "its"        "kuwait"     "last"       "market"    #> [16] "mln"        "new"        "not"        "official"   "oil"       #> [21] "one"        "opec"       "pct"        "price"      "prices"    #> [26] "reuter"     "said"       "said."      "saudi"      "sheikh"    #> [31] "that"       "the"        "they"       "u.s."       "was"       #> [36] "were"       "will"       "with"       "would"

又比如，要找到与单词opec有0.8以上相关性的单词，使用findAssocs()

findAssocs(dtm,"opec",0.8)#> $opec#>   meeting emergency       oil      15.8  analysts    buyers     above #>      0.88      0.87      0.87      0.85      0.85      0.83      0.82 #>      said   ability #>      0.82      0.80

文档-单词矩阵通常很大。tm提供了移除稀疏元素的函数

inspect(removeSparseTerms(dtm,0.4))#> <<DocumentTermMatrix (documents: 20, terms: 8)>>#> Non-/sparse entries: 140/20#> Sparsity           : 12%#> Maximal term length: 6#> Weighting          : term frequency (tf)#> #>      Terms#> Docs  and for its oil reuter said the was#>   127   1   2   3   5      1    1   5   1#>   144   9   5   6  11      1    9  17   1#>   191   0   2   1   2      1    1   4   0#>   194   1   2   1   1      1    1   4   1#>   211   2   2   1   1      1    3   8   0#>   236   7   4   8   7      1    6  15   7#>   237  11   3   3   3      1    0  30   2#>   242   3   1   0   3      1    3   6   1#>   246   9   6   3   4      1    4  18   2#>   248   6   2   2   9      1    5  27   4#>   273   5   4   0   5      1    5  21   1#>   349   2   0   0   3      1    1   5   0#>   352   3   0   2   5      1    1   7   1#>   353   1   2   2   4      1    1   4   3#>   368   1   0   1   3      1    2  11   2#>   489   5   4   2   4      1    2   8   0#>   502   6   5   2   4      1    2  13   0#>   543   0   3   2   2      1    2   5   1#>   704   5   3   1   3      1    3  21   0#>   708   0   0   0   1      1    0   0   1

字典

字典是字符串的集合，通常用一个字符串向量表示，可以在DocumentTermMatrix函数中指定一个 字典，这样生成的矩阵中，就只有字典中出现的词语，不在字典中的词语不会出现在文档单词矩阵中 如下所示

inspect(DocumentTermMatrix(reuters,                          list(dictionary = c("prices", "crude", "oil"))))#> <<DocumentTermMatrix (documents: 20, terms: 3)>>#> Non-/sparse entries: 41/19#> Sparsity           : 32%#> Maximal term length: 6#> Weighting          : term frequency (tf)#> #>      Terms#> Docs  crude oil prices#>   127     2   5      3#>   144     0  11      3#>   191     2   2      0#>   194     3   1      0#>   211     0   1      0#>   236     1   7      2#>   237     0   3      0#>   242     0   3      1#>   246     0   4      0#>   248     0   9      7#>   273     5   5      4#>   349     2   3      0#>   352     0   5      4#>   353     2   4      1#>   368     0   3      0#>   489     0   4      2#>   502     0   4      2#>   543     2   2      2#>   704     0   3      2#>   708     1   1      0

关于中文支持

利用缺省的reader读入文档时，如果文档为中文，tm还是会以空格作为单词的分割符。这样基本对中文不适用。为了能够处理中文，需要 图换掉缺省的reader。新的reader应该读入文章，并进行分词，然后将分词的结果保存为一个新的文件，该文件中，各中文单词以空格隔开 。然后再利用tm的缺省reader进行处理就可以了。关于自定义reader的格式，详见这篇博客

---

rmmseg4j 以前在cran中的，后来被移除了，原因是不符合java的源码政策 （ Archived on 2014-08-30 as does not comply with policy on Java sources. ）

---

1. 对于PCorpus而言，第三个参数dbControl必须是一个列表，它具有组件dbName，dbType (这个dbType必须是filehash包支持的数据库类型)。这里不做详细讨论。↩

来源: http://www.bagualu.net/wordpress/archives/6112