R doParallel foreach 对独立工作者进行错误处理

Posted 2023-02-19

【中文标题】R doParallel foreach 对独立工作者进行错误处理

【英文标题】：R doParallel foreach with error handling for independant workers

【发布时间】：2016-04-02 23:19:18

【问题描述】：

我必须运行很多随机森林模型，所以我想在我的 8 核服务器上使用 doParallel 来加快进程。

然而，有些模型比其他模型需要更长的时间，甚至可能会抛出错误。我想并行运行 8 个模型，如果模型抛出错误和/或被跳过，那么工作人员应该继续。每个模型结果都保存在硬盘上，以便我以后访问和组合它们。

TryCatch

或

.errorhandling="remove" 

没有解决问题。我明白了

 Error in unserialize(socklist[[n]]) : error reading from connection

代码示例：我用 %do% 试了一下，模型 2-7 运行成功。然而在 %dopar% 我得到了显示的错误

 foreach(model=1:8, .errorhandling="remove") %dopar% 


      tryCatch(
          outl <- rf_perform(...)
          saveRDS(outl,file=getwd() %+% "/temp/result_" %+% model %+% ".rds")

     , error = function(e) print(e), finally = )
  

【问题讨论】：

注意：我在 Ubuntu 14.04 上运行最新的 R 3.2.3，具有 16 个内核和 64G ram

【参考方案1】：

我想我发现了问题：如果您导出到集群的对象太大，则 R 无法再处理它和/或超时

我的数据对象 exportet 是 500 万行和 300 个变量，导出到 16 个集群。

cl <- makeCluster(16)
registerDoParallel(cl)
clusterExport(cl, "data")

#data must not be too large

我将对象缩小为更小的部分，现在它可以工作了。作者可能想在 doParallel 的文档中提及这一点，或者如果对象太大则抛出警告。