抓取分层数据
Posted
技术标签:
【中文标题】抓取分层数据【英文标题】:Scraping hierarchical data 【发布时间】:2013-01-17 02:57:34 【问题描述】:我正在尝试从global Dept stores 抓取大陆/国家/地区的 Dept 商店列表。我正在运行以下代码首先获取大陆,因为我们可以看到 XML 层次结构的方式使得每个大陆的国家不是该大陆的子节点。
> url<-"http://en.wikipedia.org/wiki/List_of_department_stores_by_country"
> doc = htmlTreeParse(url, useInternalNodes = T)
> nodeNames = getNodeSet(doc, "//h2/span[@class='mw-headline']")
> # For Africa
> xmlChildren(nodeNames[[1]])
$a
<a href="/wiki/Africa" title="Africa">Africa</a>
attr(,"class")
[1] "XMLInternalNodeList" "XMLNodeList"
> xmlSize(nodeNames[[1]])
[1] 1
我知道我可以在单独的 getNodeSet 命令中处理国家/地区,但我只是想确保我没有遗漏任何东西。有没有更聪明的方法可以同时获取每个大陆和每个国家/地区的所有数据?
【问题讨论】:
鉴于文档的结构,使用 SAX 解析它可能比使用 DOM 树更容易。 【参考方案1】:uisng xpath,多个路径可以用|组合分隔器。所以我用它来获得同一个列表中的国家和商店。然后我得到第二个国家名单。我使用后一个列表来拆分第一个列表
url<-"http://en.wikipedia.org/wiki/List_of_department_stores_by_country"
library(XML)
xmltext <- htmlTreeParse(url, useInternalNodes = T)
## Here I use the combined xpath
cont.shops <- xpathApply(xmltext, '//*[@id="mw-content-text"]/ul/li|
//*[@id="mw-content-text"]/h3',xmlValue)
cont.shops<- do.call(rbind,cont.shops) ## from list to vector
head(cont.shops) ## first element is country followed by shops
[,1]
[1,] "[edit] Â Tunisia"
[2,] "Magasin Général"
[3,] "Mercure Market"
[4,] "Promogro"
[5,] "Geant"
[6,] "Carrefour"
## I get all the contries in one list
contries <- xpathApply(xmltext, '//*[@id="mw-content-text"]/h3',xmlValue)
contries <- do.call(rbind,contries) ## from list to vector
head(contries)
[,1]
[1,] "[edit] Â Tunisia"
[2,] "[edit] Â Morocco"
[3,] "[edit] Â Ghana"
[4,] "[edit] Â Kenya"
[5,] "[edit] Â Nigeria"
[6,] "[edit] Â South Africa"
现在我进行一些处理,以使用国家/地区拆分 cont.shops。
dd <- which(cont.shops %in% contries) ## get the index of contries
freq <- c(diff(dd),length(cont.shops)-tail(dd,1)+1) ## use diff to get Frequencies
contries.f <- rep(contries,freq) ## create the factor splitter
ll <- split(cont.shops,contries.f)
我可以检查结果:
> ll[[contries[1]]]
[1] "[edit]  Tunisia" "Magasin Général" "Mercure Market" "Promogro" "Geant"
[6] "Carrefour" "Monoprix"
> ll[[contries[2]]]
[1] "[edit] Â Morocco"
[2] "Alpha 55, one 6-story store in Casablanca"
[3] "Galeries Lafayette, to open in 2011[1] within Morocco Mall, in Casablanca"
【讨论】:
这很有帮助。谢谢以上是关于抓取分层数据的主要内容,如果未能解决你的问题,请参考以下文章