将 HTML 表格转换为 R 数据框
Posted
技术标签:
【中文标题】将 HTML 表格转换为 R 数据框【英文标题】：Convert HTML tables to R data frame 【发布时间】：2015-11-30 18:44:39 【问题描述】：<TABLE cellspacing=1 cellpadding=7 rules=all frame=Box border=1>
<thead>
<TR>
<TD ROWSPAN=2 ALIGN=CENTER VALIGN=CENTER> </TD>
<TD COLSPAN=6 ALIGN=CENTER>1a. My peers make a positive impact my work environment.</TD>
<TD ALIGN=CENTER>Number</TD>
</TR>
<TR>
<TD ALIGN=CENTER>Strongly agree <br> </TD>
<TD ALIGN=CENTER>Generally agree <br> </TD>
<TD ALIGN=CENTER>Neither agree nor<br>disagree</TD>
<TD ALIGN=CENTER>Generally disagree<br> </TD>
<TD ALIGN=CENTER>Strongly disagree<br> </TD>
<TD ALIGN=CENTER>No basis to judge<br> </TD>
<TD ALIGN=CENTER>of Cases</TD>
</TR>
</thead>
<tbody>
<TR>
<TD ALIGN=LEFT VALIGN=TOP> Company-Wide </TD>
<TD ALIGN=RIGHT VALIGN=BOTTOM> 44.1</TD>
<TD ALIGN=RIGHT VALIGN=BOTTOM> 44.9</TD>
<TD ALIGN=RIGHT VALIGN=BOTTOM> 6.6</TD>
<TD ALIGN=RIGHT VALIGN=BOTTOM> 2.6</TD>
<TD ALIGN=RIGHT VALIGN=BOTTOM> 1.6</TD>
<TD ALIGN=RIGHT VALIGN=BOTTOM> 0.1</TD>
<TD ALIGN=RIGHT VALIGN=BOTTOM> 2,014</TD>
</TR>
<TR>
<TD ALIGN=LEFT VALIGN=TOP> Region 1 </TD>
<TD ALIGN=RIGHT VALIGN=BOTTOM> 45.6</TD>
<TD ALIGN=RIGHT VALIGN=BOTTOM> 45.2</TD>
<TD ALIGN=RIGHT VALIGN=BOTTOM> 5.7</TD>
<TD ALIGN=RIGHT VALIGN=BOTTOM> 2.1</TD>
<TD ALIGN=RIGHT VALIGN=BOTTOM> 1.4</TD>
<TD ALIGN=RIGHT VALIGN=BOTTOM> 0.1</TD>
<TD ALIGN=RIGHT VALIGN=BOTTOM> 1,699</TD>
</TR>
<TR>
<TD ALIGN=LEFT VALIGN=TOP>Division 1 </TD>
<TD ALIGN=RIGHT VALIGN=BOTTOM> 52.9</TD>
<TD ALIGN=RIGHT VALIGN=BOTTOM> 39.7</TD>
<TD ALIGN=RIGHT VALIGN=BOTTOM> 4.1</TD>
<TD ALIGN=RIGHT VALIGN=BOTTOM> 2.5</TD>
<TD ALIGN=RIGHT VALIGN=BOTTOM> 0.8</TD>
<TD ALIGN=RIGHT VALIGN=BOTTOM>0</TD>
<TD ALIGN=RIGHT VALIGN=BOTTOM> 121</TD>
</TR>
</tbody>
</TABLE>
<hr><A NAME="IDX1"> </A>
我有一个 html 文件，其中包含多个上述类型的表格。我想将它们转换为一个数据框，其中当前位于表头中的每个调查问题都将出现在一个列中。对每个问题的回答百分比将保留在列中，回答水平也将保留。并非所有问题都有相同数量的回答（即，有些问题采用 5 分制，另一些采用 9 分制）。我尝试了 readHTMLTable ，然后对该结果执行了 do.call rbind ，但由于列数不相同，因此无法获得感兴趣的数据框。我欢迎任何关于如何进行的建议。谢谢！
编辑：
library(xml)
library(dplyr)
questions<-readHTMLTable(files[8], trim=T, as.data.frame=T, header=T)
data<-bind_rows(questions)
结果在我想要的数据框中，但由于某些问题的响应级别比其他问题高，“案例数”数据不会始终出现在一列中。有没有办法让我在合并之前命名每个表的最后一列？
【问题讨论】：
尝试将data.table::rbindlist 与fill=TRUE 运算符一起使用或使用dplyr::bind_rows（也可以进行填充）
谢谢，这很有帮助。有什么方法可以始终如一地指出哪个变量是最后一个变量，以便我可以确保它被命名？一旦它们全部合并，要始终如一地确定哪个变量是“案例数”，这有点挑战。
你需要展示一些代码来帮助回答更详细的问题（很难假设没有代码的流程结构是什么样的）
【参考方案1】：
您可以为此使用rvest 包。但是，可能需要注意带有空格的列名。我使用选项 fill=TRUE 作为快速修复，但也许这可以通过更好的方式完成。
library(rvest)
my_df <- as.data.frame(read_html(text) %>% html_table(fill=TRUE))
> my_df
# X1 X2 X3 X4 X5 X6 X7 X8
#1 1a. My peers make a positive impact my work environment. <NA> <NA> <NA> <NA> <NA> Number
#2 Strongly agree Generally agree Neither agree nordisagree Generally disagree Strongly disagree No basis to judge of Cases <NA>
#3 Company-Wide 44.1 44.9 6.6 2.6 1.6 0.1 2,014
#4 Region 1 45.6 45.2 5.7 2.1 1.4 0.1 1,699
#5 Division 1 52.9 39.7 4.1 2.5 0.8 0 121
关于数据，我从 OP 复制粘贴了 html 代码，并使用单引号将其分配给变量 text 和 text <- '<TABLE cellspacing=1 cellpadding=7 rules=all frame=...'。
之后可以通过一种相当简单的方式更正格式的一些细节：
my_df[2,] <- c("",my_df[2,][-length(my_df)])
#> my_df
# X1 X2 X3 X4 X5 X6 X7 X8
#1 1a. My peers make a positive impact my work environment. <NA> <NA> <NA> <NA> <NA> Number
#2 Strongly agree Generally agree Neither agree nordisagree Generally disagree Strongly disagree No basis to judge of Cases
#3 Company-Wide 44.1 44.9 6.6 2.6 1.6 0.1 2,014
#4 Region 1 45.6 45.2 5.7 2.1 1.4 0.1 1,699
#5 Division 1 52.9 39.7 4.1 2.5 0.8 0 121
基本上，在这种情况下，第二行的条目应该向右移动一个单元格。
数据
text <- '<TABLE cellspacing=1 cellpadding=7 rules=all frame=Box border=1>\n <thead>\n <TR>\n <TD ROWSPAN=2 ALIGN=CENTER VALIGN=CENTER> </TD>\n <TD COLSPAN=6 ALIGN=CENTER>1a. My peers make a positive impact my work environment.</TD>\n <TD ALIGN=CENTER>Number</TD>\n </TR>\n <TR>\n <TD ALIGN=CENTER>Strongly agree <br> </TD>\n <TD ALIGN=CENTER>Generally agree <br> </TD>\n <TD ALIGN=CENTER>Neither agree nor<br>disagree</TD>\n <TD ALIGN=CENTER>Generally disagree<br> </TD>\n <TD ALIGN=CENTER>Strongly disagree<br> </TD>\n <TD ALIGN=CENTER>No basis to judge<br> </TD>\n <TD ALIGN=CENTER>of Cases</TD>\n </TR>\n </thead>\n <tbody>\n <TR>\n <TD ALIGN=LEFT VALIGN=TOP> Company-Wide </TD>\n <TD ALIGN=RIGHT VALIGN=BOTTOM> 44.1</TD>\n <TD ALIGN=RIGHT VALIGN=BOTTOM> 44.9</TD>\n <TD ALIGN=RIGHT VALIGN=BOTTOM> 6.6</TD>\n <TD ALIGN=RIGHT VALIGN=BOTTOM> 2.6</TD>\n <TD ALIGN=RIGHT VALIGN=BOTTOM> 1.6</TD>\n <TD ALIGN=RIGHT VALIGN=BOTTOM> 0.1</TD>\n <TD ALIGN=RIGHT VALIGN=BOTTOM> 2,014</TD>\n </TR>\n <TR>\n <TD ALIGN=LEFT VALIGN=TOP> Region 1 </TD>\n <TD ALIGN=RIGHT VALIGN=BOTTOM> 45.6</TD>\n <TD ALIGN=RIGHT VALIGN=BOTTOM> 45.2</TD>\n <TD ALIGN=RIGHT VALIGN=BOTTOM> 5.7</TD>\n <TD ALIGN=RIGHT VALIGN=BOTTOM> 2.1</TD>\n <TD ALIGN=RIGHT VALIGN=BOTTOM> 1.4</TD>\n <TD ALIGN=RIGHT VALIGN=BOTTOM> 0.1</TD>\n <TD ALIGN=RIGHT VALIGN=BOTTOM> 1,699</TD>\n </TR>\n <TR>\n <TD ALIGN=LEFT VALIGN=TOP>Division 1 </TD>\n <TD ALIGN=RIGHT VALIGN=BOTTOM> 52.9</TD>\n <TD ALIGN=RIGHT VALIGN=BOTTOM> 39.7</TD>\n <TD ALIGN=RIGHT VALIGN=BOTTOM> 4.1</TD>\n <TD ALIGN=RIGHT VALIGN=BOTTOM> 2.5</TD>\n <TD ALIGN=RIGHT VALIGN=BOTTOM> 0.8</TD>\n <TD ALIGN=RIGHT VALIGN=BOTTOM>0</TD>\n <TD ALIGN=RIGHT VALIGN=BOTTOM> 121</TD>\n </TR>\n </tbody>\n </TABLE>\n <hr><A NAME=\"IDX1\"> </A>'
#> class(text)
#[1] "character"
【讨论】：
谢谢，这很有帮助。我的问题可能没有完全明确说明：理想情况下，“我的同事对我的工作环境产生了积极影响”将显示为变量下的数据，这对于我试图提取的每个问题都是正确的。该软件包是否适合该应用程序？ 可变文本是什么类？当我尝试直接在 HTML 文件上运行代码以及使用 readLines将其内容存储在字符向量中。以上是关于将 HTML 表格转换为 R 数据框的主要内容，如果未能解决你的问题，请参考以下文章