xml - R:如何在站点时间得到父属性和节点值?



xpath web-scraping (1)

总的来说,这并不容易:

idNodes <- getNodeSet(doc, "//div[@id]")
ids <- lapply(idNodes, function(x) xmlAttrs(x)['id'])
values <- lapply(idNodes, xpathApply, path = './div[@class]', xmlValue)
attributes <- lapply(idNodes, xpathApply, path = './div[@class]', xmlAttrs)
do.call(rbind.data.frame, mapply(cbind, ids, values, attributes))
  V1              V2    V3
1  1        555-5555 phone
2  1    [email protected].com email
3  2        123-4567 phone
4  2 [email protected].com email
5  3        987-6543 phone
6  3              32   age
7  3        New York  city

以上将给你属性和值对假设他们嵌套在一个div与关联的id

更新:如果你想包装它在xpathApply类型调用

utilFun <- function(x){
  id <- xmlGetAttr(x, 'id')
  values <- sapply(xmlChildren(x, omitNodeTypes = "XMLInternalTextNode"), xmlValue)
  attributes <- sapply(xmlChildren(x, omitNodeTypes = "XMLInternalTextNode"), xmlAttrs)
  data.frame(id = id, attributes = attributes, values = values, stringsAsFactors = FALSE)
}
res <- xpathApply(doc, '//div[@id]', utilFun)
do.call(rbind, res)
  id attributes          values
1  1      phone        555-5555
2  1      email    [email protected].com
3  2      phone        123-4567
4  2      email [email protected].com
5  3      phone        987-6543
6  3        age              32
7  3       city        New York

我有一个像这样的HTML和R代码,需要将每个节点的值与data.frame中的父ID进行关联。 每个人都有一些不同的信息。

example <- "<div class='person' id='1'>
<div class='phone'>555-5555</div>
<div class='email'>[email protected]</div>
</div>
<div class='person' id='2'>
<div class='phone'>123-4567</div>
<div class='email'>[email protected]</div>
</div>
<div class='person' id='3'>
<div class='phone'>987-6543</div>
<div class='age'>32</div>
<div class='city'>New York</div>
</div>"

doc = htmlTreeParse(example, useInternalNodes = T)

values <- xpathSApply(doc, "//*[@class='person']/div", xmlValue)
variables <- xpathSApply(doc, "//*[@class='person']/div", xmlGetAttr, 'class')
id <- xpathSApply(doc, "//*[@class='person']", xmlGetAttr, 'id')

# The problem: create a data.frame(id,variables,values)

使用xpathSApply() ,我可以获得电话,电子邮件和年龄值以及人员属性(id)。 然而,这些信息是孤立的,我需要引用他们正确的data.frame变量和正确的人。 在我的真实数据中有很多不同的信息,所以这个命名每个变量的过程必须是自动的。

我的目标是创建一个这样的data.frame,将每个id与其正确的数据相关联。

  id variables          values
1  1     phone        555-5555
2  1     email    [email protected].com
3  2     phone        123-4567
4  2     email [email protected].com
5  3     phone        987-6543
6  3       age              32
7  3      city        New York

我相信我将不得不创建一个函数在xpathSApply中使用,这将同时获得人电话和人员ID,所以他们将是相关的,但我迄今没有任何成功。

谁能帮我?





web-scraping