在 R 中跨多行的固定宽度文件中读取观察结果
Posted
技术标签:
【中文标题】在 R 中跨多行的固定宽度文件中读取观察结果【英文标题】：Read observations in fixed width files spanning multiple lines in R 【发布时间】：2013-03-24 08:57:28 【问题描述】：我正在尝试读取 R 中的 dat 文件。数据可用 here。
有关数据集的规范可用here。
我的问题的第一部分通过使用sep 选项并提供有关每列开始位置的信息并提供na.strings="*" 来解决。但是，我不知道如何处理跨越超过 1 行的单个观察。
在这个数据集中，所有的观察都跨越 2 行。
【问题讨论】：
【参考方案1】：您实际上需要read.fwf。
设置一些示例数据
txt <- 'Acura Integra Small 12.9 15.9 18.8 25 31 0 1 4 1.8 140 6300
2890 1 13.2 5 177 102 68 37 26.5 11 2705 0
Acura Legend Midsize 29.2 33.9 38.7 18 25 2 1 6 3.2 200 5500
2335 1 18.0 5 195 115 71 38 30.0 15 3560 0
Audi 90 Compact 25.9 29.1 32.3 20 26 1 1 6 2.8 172 5500
2280 1 16.9 5 180 102 67 37 28.0 14 3375 0'
使用 read.fwf 阅读 - 注意 widths 参数。 widths 应该是 2 个整数向量的列表，指定多行元素的宽度
DF <- read.fwf(textConnection(txt),
widths = list(
c(14, 15, 8, 5, 5, 5, 3, 3, 2, 2, 2, 4, 4, 4),
c(5, 2, 5, 2, 4, 4, 3, 3, 5, 3, 5, 1)
),
header = FALSE)
使用pander 包来漂亮地打印表格，因为它有很多列。
require(pander)
pandoc.table(DF)
##
## ---------------------------------------------------
## V1 V2 V3 V4 V5 V6 V7 V8 V9
## ----- ------- ------- ---- ---- ---- ---- ---- ----
## Acura Integra Small 12.9 15.9 18.8 25 31 0
##
## Acura Legend Midsize 29.2 33.9 38.7 18 25 2
##
## Audi 90 Compact 25.9 29.1 32.3 20 26 1
## ---------------------------------------------------
##
## Table: Table continues below
##
##
## -----------------------------------------------
## V10 V11 V12 V13 V14 V15 V16 V17
## ----- ----- ----- ----- ----- ----- ----- -----
## 1 4 1.8 140 6300 2890 1 13.2
##
## 1 6 3.2 200 5500 2335 1 18.0
##
## 1 6 2.8 172 5500 2280 1 16.9
## -----------------------------------------------
##
## Table: Table continues below
##
##
## -----------------------------------------------
## V18 V19 V20 V21 V22 V23 V24 V25
## ----- ----- ----- ----- ----- ----- ----- -----
## 5 177 102 68 37 26.5 11 2705
##
## 5 195 115 71 38 30.0 15 3560
##
## 5 180 102 67 37 28.0 14 3375
## -----------------------------------------------
##
## Table: Table continues below
##
##
## -----
## V26
## -----
## 0
##
## 0
##
## 0
## -----
##
【讨论】：
【参考方案2】：这里有一个解决方法：
link <- "http://www.amstat.org/publications/jse/datasets/93cars.dat.txt"
阅读原始行：
rawlines <- readLines(file(link))
转换为一个文本字符串：
lines <- paste(rawlines[c(TRUE, FALSE)], rawlines[c(FALSE, TRUE)], collapse = "\n")
函数paste用于组合多个字符串。 rawlines[c(TRUE, FALSE)] 代表奇数行，rawlines[c(FALSE, TRUE)] 代表偶数行。 （有关如何使用布尔值选择偶数和奇数元素的详细信息，请参阅this answer。）两条小线合并为一条长线。然后，将所有长行组合成一个带有参数collapse = "\n" 的字符串。这些行由换行符分隔 (\n)。
使用read.table阅读新文本：
dat <- read.table(text = lines, na.string = "*")
结果：
> head(dat)
V1 V2 V3 V4 V5 V6 V7 V8 V9 V10 V11 V12 V13 V14 V15 V16 V17
1 Acura Integra Small 12.9 15.9 18.8 25 31 0 1 4 1.8 140 6300 2890 1 13.2
2 Acura Legend Midsize 29.2 33.9 38.7 18 25 2 1 6 3.2 200 5500 2335 1 18.0
3 Audi 90 Compact 25.9 29.1 32.3 20 26 1 1 6 2.8 172 5500 2280 1 16.9
4 Audi 100 Midsize 30.8 37.7 44.6 19 26 2 1 6 2.8 172 5500 2535 1 21.1
5 BMW 535i Midsize 23.7 30.0 36.2 22 30 1 0 4 3.5 208 5700 2545 1 21.1
6 Buick Century Midsize 14.2 15.7 17.3 22 31 1 1 4 2.2 110 5200 2565 0 16.4
V18 V19 V20 V21 V22 V23 V24 V25 V26
1 5 177 102 68 37 26.5 11 2705 0
2 5 195 115 71 38 30.0 15 3560 0
3 5 180 102 67 37 28.0 14 3375 0
4 6 193 106 70 37 31.0 17 3405 0
5 4 186 109 69 39 27.0 13 3640 0
6 6 189 105 69 41 28.0 16 2880 1
【讨论】：
你能解释一下行lines @ArkidMitra 我添加了解释。 对我来说效果很好。有没有更标准的方法，是我的下一个问题吗？【参考方案3】：您可以使用选项fill=TRUE
dat <- read.table('93cars.dat.txt',fill=TRUE)
V1 V2 V3 V4 V5 V6 V7 V8 V9 V10 V11 V12 V13 V14
1 Acura Integra Small 12.9 15.9 18.8 25 31 0 1 4 1.8 140 6300
2 2890 1 13.2 5.0 177.0 102.0 68 37 26.5 11 2705 0.0 NA NA
3 Acura Legend Midsize 29.2 33.9 38.7 18 25 2 1 6 3.2 200 5500
4 2335 1 18.0 5.0 195.0 115.0 71 38 30.0 15 3560 0.0 NA NA
5 Audi 90 Compact 25.9 29.1 32.3 20 26 1 1 6 2.8 172 5500
然后，如果您想在单独的 data.frame 中获取每一行；我的意思是 data.frame 中的 line1,line3,.. 和另一个 data.frame 中的 line2,line4,.. 你可以这样做：
dat.even <- dat[c(FALSE,TRUE),]
dat.odd <- dat[c(TRUE,FALSE),]
【讨论】：
以上是关于在 R 中跨多行的固定宽度文件中读取观察结果的主要内容，如果未能解决你的问题，请参考以下文章
R：如何读取固定宽度的数据文件，其中数据连接成两组，堆叠在一个文件的顶部
如何在 R 中使用 laf_open_fwf 读取固定宽度文件时管理恶意数据行