R语言并行计算中的内存控制

Posted 2020-11-02 风轻云淡

　　R语言使用向量化计算，因此非常容易在集群上进行并行计算。parallel 包提供了非常方便的函数用来进行并行计算，但有一个问题是并行时对于内存中的对象会拷贝多份，因此会比较占内存，这里提供一个比较简易的方法在内存中共享对象从而达到降低内存占用的目的。

cl<-makeCluster(10, type="FORK")
result_list <- parLapply(cl, list, function)
stopCluster(cl)

　　非常简单，在创建集群的时候添加type为 FORK就好。