加快R中大数据的for循环处理时间

Posted 2023-02-14

【中文标题】加快R中大数据的for循环处理时间

【英文标题】：Speed up the processing time of for loop for big data in R

【发布时间】：2022-01-12 15:04:03

【问题描述】：

我有非常大的数据集bdd_cases 有 150,000 行，bdd_control 有 1500 万行。在这里，为了简单起见，我减小了这些数据集的大小并作为驱动链接给出。除其他外，我正在尝试根据cluster_case 和subset 变量将匹配行从bdd_control 添加到bdd_cases。

我为此目的编写了以下for loop，它非常适合此处给出的小型数据集示例。即使是这个小数据集也需要大约 13 秒。

#import data
id1 <- "199TNlYFwqzzWpi1iY5qX1-M11UoC51Cp"
id2 <- "1TeFCkqLDtEBz0JMBHh8goNWEjYol4O2z"

bdd_cases <- as.data.frame(read.csv(sprintf("https://docs.google.com/uc?id=%s&export=download", id1)))
bdd_control <- as.data.frame(read.csv(sprintf("https://docs.google.com/uc?id=%s&export=download", id2)))

#declare empty dataframe
bdd_temp <- NULL
list_p <- unique(bdd_cases$cluster_case)

#for loop
for (i in 1:length(list_p)) 

  temp <- bdd_cases %>% 
    filter(cluster_case==list_p[i])                                  #select the first case from bdd_cases
  
  temp0 <- bdd_control %>% filter(subset==temp$subset)               #select the rows from bdd_control that match the first case above on the subset variable
  
  temp <- rbind(temp, temp0)                                         #bind the two

  temp$cluster_case <- list_p[i]                                     #add the ith cluster_case to all the rows 
  
  temp <- temp %>%
    group_by(cluster_case) %>% #group by cluster case
    mutate(age_diff = abs(age - age[case_control=="case"]),          #calculate difference in age between case and controls
           fup_diff = foll_up - foll_up[case_control=="case"],       #calculate difference in foll_up between case and controls
           age_fup = ifelse(age_diff<=2 & fup_diff==0,"accept","delete")) %>% #keep the matching controls and remove the other controls for the ith cluster_case
    filter(age_fup=="accept") %>% 
    select(-age_fup)
  
  bdd_temp <- bdd_temp %>% # finally add this matched case and control to the empty dataframe
    bind_rows(temp)

当我为具有数百万行的原始数据集尝试相同的 for loop 时，我的问题出现了。我的程序已经运行了 2 天。我在 R studio server 上运行它，它有 64 个内核和 270 GB RAM。

我参考过以前的帖子，比如这个 (Speed up the loop operation in R)，它讨论了矢量化和使用列表而不是数据帧。但是，我无法将这些应用于我的具体情况。

我可以对for loop 中的命令进行任何具体改进以加快执行速度吗？

速度上的任何微小改进都将意味着很多。谢谢。

【问题讨论】：

一些观察：在循环中存在不必要的数据分配和复制，使用 rbind 和 dplyr - 它的速度并不为人所知。 dtplyr、collapse 或 data.table（按努力顺序）可能会大大加快这个循环的速度。进一步 - 初始化变量并使用快速 I/O 方法，如 vroom 或 fread 或 data.table。

您是否尝试过与 foreach %dopar% 并行运行？

听起来微不足道，但最好的速度改进是减少问题的大小。想想你是否可以预先过滤你的 15Mill 数据集，例如在去 R 之前使用低级工具进行噪声过滤等。

【参考方案1】：

这应该会大大加快速度。

在我的系统上，速度增益大约是 5 倍。

#import data
id1 <- "199TNlYFwqzzWpi1iY5qX1-M11UoC51Cp"
id2 <- "1TeFCkqLDtEBz0JMBHh8goNWEjYol4O2z"

library(data.table)
# use fread for reading, fast and get a nice progress bar as bonus
bdd_cases <- fread(sprintf("https://docs.google.com/uc?id=%s&export=download", id1))
bdd_control <- fread(sprintf("https://docs.google.com/uc?id=%s&export=download", id2))
#Put everything in a list
L <- lapply(unique(bdd_cases$cluster_case), function(x)
  temp <- rbind(bdd_cases[cluster_case == x, ],
                bdd_control[subset == bdd_cases[cluster_case == x, ]$subset])
  temp[, cluster_case := x]
  temp[, `:=`(age_diff = abs(age - age[case_control=="case"]),
              fup_diff = foll_up - foll_up[case_control=="case"])]
  temp[age_diff <= 2 & fup_diff == 0, ]
)
#Rowbind the list
final <- rbindlist(L, use.names = TRUE, fill = TRUE)

【讨论】：

您好，感谢您的解决方案，但是当我尝试运行它时，会弹出以下错误。 [.data.frame(bdd_cases, cluster_case == x, ) 中的错误：找不到对象 'cluster_case' 调用方：[.data.frame(bdd_cases, cluster_case == x, )

数据必须是data.table。你有没有使用fread()读入数据？

亲爱的@Wimpel，它有效！如果我完全运行您的代码。我必须使用setDT 将类转换为 data.table。如果大型数据集有任何时间改进，我会告诉你。非常感谢付出的努力和时间。