一次调用按组对多个变量应用多个汇总函数
Posted
技术标签:
【中文标题】一次调用按组对多个变量应用多个汇总函数【英文标题】：Apply several summary functions on several variables by group in one call 【发布时间】：2012-08-17 08:23:58 【问题描述】：我有以下数据框
x <- read.table(text = " id1 id2 val1 val2
1 a x 1 9
2 a x 2 4
3 a y 3 5
4 a y 4 9
5 b x 1 7
6 b y 4 4
7 b x 3 9
8 b y 2 8", header = TRUE)
我想计算按 id1 和 id2 分组的 val1 和 val2 的平均值，同时计算每个 id1-id2 组合的行数。我可以分别执行每个计算：
# calculate mean
aggregate(. ~ id1 + id2, data = x, FUN = mean)
# count rows
aggregate(. ~ id1 + id2, data = x, FUN = length)
为了在一次调用中完成这两项计算，我尝试了
do.call("rbind", aggregate(. ~ id1 + id2, data = x, FUN = function(x) data.frame(m = mean(x), n = length(x))))
但是，我得到一个乱码输出和一个警告：
# m n
# id1 1 2
# id2 1 1
# 1.5 2
# 2 2
# 3.5 2
# 3 2
# 6.5 2
# 8 2
# 7 2
# 6 2
# Warning message:
# In rbind(id1 = c(1L, 2L, 1L, 2L), id2 = c(1L, 1L, 2L, 2L), val1 = list( :
# number of columns of result is not a multiple of vector length (arg 1)
我可以使用 plyr 包，但是我的数据集非常大，当数据集的大小增加时 plyr 非常慢（几乎无法使用）。
如何使用aggregate 或其他函数在一次调用中执行多个计算？
【问题讨论】：
除了答案中提到的aggregate之外，还有by和tapply。
【参考方案1】：
另一个dplyr 选项是across，它是当前开发版本的一部分
#devtools::install_github("tidyverse/dplyr")
library(dplyr)
x %>%
group_by(id1, id2) %>%
summarise(across(starts_with("val"), list(mean = mean, n = length)))
结果
# A tibble: 4 x 4
# Groups: id1 [2]
id1 id2 mean$val1 $val2 n$val1 $val2
<fct> <fct> <dbl> <dbl> <int> <int>
1 a x 1.5 6.5 2 2
2 a y 3.5 7 2 2
3 b x 2 8 2 2
4 b y 3 6 2 2
packageVersion("dplyr")
[1] ‘0.8.99.9000’
【讨论】：
【参考方案2】：鉴于这个问题：
我可以使用 plyr 包，但是我的数据集非常大，当数据集的大小增加时 plyr 非常慢（几乎无法使用）。
然后在data.table (1.9.4+) 你可以试试：
> DT
id1 id2 val1 val2
1: a x 1 9
2: a x 2 4
3: a y 3 5
4: a y 4 9
5: b x 1 7
6: b y 4 4
7: b x 3 9
8: b y 2 8
> DT[ , .(mean(val1), mean(val2), .N), by = .(id1, id2)] # simplest
id1 id2 V1 V2 N
1: a x 1.5 6.5 2
2: a y 3.5 7.0 2
3: b x 2.0 8.0 2
4: b y 3.0 6.0 2
> DT[ , .(val1.m = mean(val1), val2.m = mean(val2), count = .N), by = .(id1, id2)] # named
id1 id2 val1.m val2.m count
1: a x 1.5 6.5 2
2: a y 3.5 7.0 2
3: b x 2.0 8.0 2
4: b y 3.0 6.0 2
> DT[ , c(lapply(.SD, mean), count = .N), by = .(id1, id2)] # mean over all columns
id1 id2 val1 val2 count
1: a x 1.5 6.5 2
2: a y 3.5 7.0 2
3: b x 2.0 8.0 2
4: b y 3.0 6.0 2
有关将 aggregate（用于问题和所有其他 3 个答案）与 data.table 进行比较的时间安排，请参阅
this benchmark（agg 和 agg.x 案例）。
【讨论】：
【参考方案3】：使用dplyr 包，您可以使用summarise_all 实现此目的。使用此汇总函数，您可以将其他函数（在本例中为 mean 和 n()）应用于每个非分组列：
x %>%
group_by(id1, id2) %>%
summarise_all(funs(mean, n()))
给出：
id1 id2 val1_mean val2_mean val1_n val2_n
1 a x 1.5 6.5 2 2
2 a y 3.5 7.0 2 2
3 b x 2.0 8.0 2 2
4 b y 3.0 6.0 2 2
如果您不想将函数应用于所有非分组列，请指定应应用它们的列，或者使用 summarise_at() 函数通过减号排除不需要的列：
# inclusion
x %>%
group_by(id1, id2) %>%
summarise_at(vars(val1, val2), funs(mean, n()))
# exclusion
x %>%
group_by(id1, id2) %>%
summarise_at(vars(-val2), funs(mean, n()))
【讨论】：
【参考方案4】：您可以一步完成所有操作并获得正确的标签：
> aggregate(. ~ id1+id2, data = x, FUN = function(x) c(mn = mean(x), n = length(x) ) )
# id1 id2 val1.mn val1.n val2.mn val2.n
# 1 a x 1.5 2.0 6.5 2.0
# 2 b x 2.0 2.0 8.0 2.0
# 3 a y 3.5 2.0 7.0 2.0
# 4 b y 3.0 2.0 6.0 2.0
这将创建一个包含两个 id 列和两个矩阵列的数据框：
str( aggregate(. ~ id1+id2, data = x, FUN = function(x) c(mn = mean(x), n = length(x) ) ) )
'data.frame': 4 obs. of 4 variables:
$ id1 : Factor w/ 2 levels "a","b": 1 2 1 2
$ id2 : Factor w/ 2 levels "x","y": 1 1 2 2
$ val1: num [1:4, 1:2] 1.5 2 3.5 3 2 2 2 2
..- attr(*, "dimnames")=List of 2
.. ..$ : NULL
.. ..$ : chr "mn" "n"
$ val2: num [1:4, 1:2] 6.5 8 7 6 2 2 2 2
..- attr(*, "dimnames")=List of 2
.. ..$ : NULL
.. ..$ : chr "mn" "n"
正如下面@lord.garbage 所指出的，可以使用do.call(data.frame, ...) 将其转换为具有“简单”列的数据框
str( do.call(data.frame, aggregate(. ~ id1+id2, data = x, FUN = function(x) c(mn = mean(x), n = length(x) ) ) )
)
'data.frame': 4 obs. of 6 variables:
$ id1 : Factor w/ 2 levels "a","b": 1 2 1 2
$ id2 : Factor w/ 2 levels "x","y": 1 1 2 2
$ val1.mn: num 1.5 2 3.5 3
$ val1.n : num 2 2 2 2
$ val2.mn: num 6.5 8 7 6
$ val2.n : num 2 2 2 2
这是 LHS 上多个变量的语法：
aggregate(cbind(val1, val2) ~ id1 + id2, data = x, FUN = function(x) c(mn = mean(x), n = length(x) ) )
【讨论】：
非常感谢。作为旁注，我如何汇总汇总一列。如果我有几个数字列，我不希望它对我不想要的列求和。我当然可以在聚合完成后丢弃列，但那时 CPU 周期已经用完了。 你只给它要分组的因素和要聚合的列。可能在数据中使用负列索引或将所需的列放在公式的 LHS 上。 （见编辑。） 我在 Windows 7 机器上使用 RStudio 0.98.1014 时遇到了 user2659402 在他的更新中提到的错误。如果您将数据框输出到控制台，如图所示，它看起来很正常，但是如果您将其保存到 d 中，然后尝试访问 d$val1.mn，它会返回 NULL。如果您运行 view(d)，d 也会出现格式错误。使用更新中的代码修复它。 您遇到困难的原因是“vals”作为矩阵返回，每个矩阵有两列，而不是普通列。尝试d$val1[ , ""mn"] 并使用str 查看结构。
您可以使用agg_df <- do.call(data.frame, agg)将包含矩阵的列绑定回数据框：agg <- aggregate(cbind(val1, val2) ~ id1 + id2, data = x, FUN = function(x) c(mn = mean(x), n = length(x)))。另请参阅here。【参考方案5】：
您也可以使用plyr::each()来介绍多种功能：
aggregate(cbind(val1, val2) ~ id1 + id2, data = x, FUN = plyr::each(avg = mean, n = length))
【讨论】：
【参考方案6】：您可以添加一个count 列，与sum 聚合，然后缩减以获得mean：
x$count <- 1
agg <- aggregate(. ~ id1 + id2, data = x,FUN = sum)
agg
# id1 id2 val1 val2 count
# 1 a x 3 13 2
# 2 b x 4 16 2
# 3 a y 7 14 2
# 4 b y 6 12 2
agg[c("val1", "val2")] <- agg[c("val1", "val2")] / agg$count
agg
# id1 id2 val1 val2 count
# 1 a x 1.5 6.5 2
# 2 b x 2.0 8.0 2
# 3 a y 3.5 7.0 2
# 4 b y 3.0 6.0 2
它的优点是保留您的列名并创建单个 count 列。
【讨论】：
【参考方案7】：也许你想合并？
x.mean <- aggregate(. ~ id1+id2, p, mean)
x.len <- aggregate(. ~ id1+id2, p, length)
merge(x.mean, x.len, by = c("id1", "id2"))
id1 id2 val1.x val2.x val1.y val2.y
1 a x 1.5 6.5 2 2
2 a y 3.5 7.0 2 2
3 b x 2.0 8.0 2 2
4 b y 3.0 6.0 2 2
【讨论】：
以上是关于一次调用按组对多个变量应用多个汇总函数的主要内容，如果未能解决你的问题，请参考以下文章