randomForest 模型大小取决于训练集大小：避免的方法？

Posted 2023-03-12

【中文标题】randomForest 模型大小取决于训练集大小：避免的方法？

【英文标题】：randomForest model size depends on the training set size: A way to avoid?

【发布时间】：2019-10-07 15:40:57

【问题描述】：

我正在训练一个 randomForest 模型，目的是保存它以供预测（它将被下载并在外部环境中使用）。我希望这个模型尽可能小。

我读到有很多options和packages来减少模型的内存大小。

不过，我不明白为什么训练集的大小与模型的大小有关？毕竟，一旦森林的系数有了，为什么还要保留原始数据集？

df <- iris
model <- randomForest::randomForest(Species ~ ., data = df, 
                 localImp = FALSE,
                 importance = FALSE,
                 keep.forest = TRUE,
                 keep.inbag = FALSE,
                 proximity=FALSE,
                 ntree = 25)
object.size(model)/1000
#> 73.2 bytes

df <- df[sample(nrow(df), 50), ]
model <- randomForest::randomForest(Species ~ ., data = df, 
                 localImp = FALSE,
                 importance = FALSE,
                 keep.forest = TRUE,
                 keep.inbag = FALSE,
                 proximity=FALSE,
                 ntree = 25)
object.size(model)/1000
#> 43 bytes

^{由reprex package (v0.2.1) 于 2019 年 5 月 21 日创建}

我已经尝试过上面提到的减少大小的技巧，但与训练集大小的作用相比，它们的效果是微不足道的。有没有办法删除这些信息？

【参考方案1】：

我认为你可以在适合之后移除模型的某些部分：

object.size(model)/1000
# 70.4 bytes

model$predicted <- NULL # remove predicted
model$y <- NULL # remove y
#.. possibly other parts aren't needed
object.size(model)/1000
# 48.3 bytes

我检查了predict(model, df)，看看它是否仍然有效，并且确实有效。

使用names(model)检查model里面的元素。

看来$votes很大，你也不需要，这里还有我安全删除的项目：

model$predicted <- NULL
model$y <- NULL
model$err.rate <- NULL
model$test <- NULL
model$proximity <- NULL
model$confusion <- NULL
model$localImportance <- NULL
model$importanceSD <- NULL
model$inbag <- NULL
model$votes <- NULL
model$oob.times <- NULL


object.size(model)/1000
# 32.3 bytes

例子：

df <- iris
model <- randomForest::randomForest(Species ~ ., data = df, 
                 localImp = FALSE,
                 importance = FALSE,
                 keep.forest = TRUE,
                 keep.inbag = FALSE,
                 proximity=FALSE,
                 ntree = 25)