GBM 规则生成 - 编码建议
Posted
技术标签:
【中文标题】GBM 规则生成 - 编码建议【英文标题】:GBM Rule Generation - Coding Advice 【发布时间】:2012-03-07 06:07:36 【问题描述】:我使用 R 包 GBM 作为预测建模的首选。这个算法有很多很棒的东西,但一个“坏”是我不能轻易地使用模型代码来对 R 之外的新数据进行评分。我想编写可以在 SAS 或其他系统中使用的代码(我将从SAS(无法访问 IML))。
假设我有以下数据集(来自 GBM 手册)和模型代码:
library(gbm)
set.seed(1234)
N <- 1000
X1 <- runif(N)
X2 <- 2*runif(N)
X3 <- ordered(sample(letters[1:4],N,replace=TRUE),levels=letters[4:1])
X4 <- factor(sample(letters[1:6],N,replace=TRUE))
X5 <- factor(sample(letters[1:3],N,replace=TRUE))
X6 <- 3*runif(N)
mu <- c(-1,0,1,2)[as.numeric(X3)]
SNR <- 10 # signal-to-noise ratio
Y <- X1**1.5 + 2 * (X2**.5) + mu
sigma <- sqrt(var(Y)/SNR)
Y <- Y + rnorm(N,0,sigma)
# introduce some missing values
#X1[sample(1:N,size=500)] <- NA
X4[sample(1:N,size=300)] <- NA
X3[sample(1:N,size=30)] <- NA
data <- data.frame(Y=Y,X1=X1,X2=X2,X3=X3,X4=X4,X5=X5,X6=X6)
# fit initial model
gbm1 <- gbm(Y~X1+X2+X3+X4+X5+X6, # formula
data=data, # dataset
var.monotone=c(0,0,0,0,0,0), # -1: monotone decrease,
distribution="gaussian",
n.trees=2, # number of trees
shrinkage=0.005, # shrinkage or learning rate,
# 0.001 to 0.1 usually work
interaction.depth=5, # 1: additive model, 2: two-way interactions, etc.
bag.fraction = 1, # subsampling fraction, 0.5 is probably best
train.fraction = 1, # fraction of data for training,
# first train.fraction*N used for training
n.minobsinnode = 10, # minimum total weight needed in each node
cv.folds = 5, # do 5-fold cross-validation
keep.data=TRUE, # keep a copy of the dataset with the object
verbose=TRUE) # print out progress
现在我可以使用pretty.gbm.tree
来查看单个树
pretty.gbm.tree(gbm1,i.tree = 1)[1:7]
产生
SplitVar SplitCodePred LeftNode RightNode MissingNode ErrorReduction Weight
0 2 1.5000000000 1 8 15 983.34315 1000
1 1 1.0309565491 2 6 7 190.62220 501
2 2 0.5000000000 3 4 5 75.85130 277
3 -1 -0.0102671518 -1 -1 -1 0.00000 139
4 -1 -0.0050342273 -1 -1 -1 0.00000 138
5 -1 -0.0076601353 -1 -1 -1 0.00000 277
6 -1 -0.0014569934 -1 -1 -1 0.00000 224
7 -1 -0.0048866747 -1 -1 -1 0.00000 501
8 1 0.6015416372 9 10 14 160.97007 469
9 -1 0.0007403551 -1 -1 -1 0.00000 142
10 2 2.5000000000 11 12 13 85.54573 327
11 -1 0.0046278704 -1 -1 -1 0.00000 168
12 -1 0.0097445692 -1 -1 -1 0.00000 159
13 -1 0.0071158065 -1 -1 -1 0.00000 327
14 -1 0.0051854993 -1 -1 -1 0.00000 469
15 -1 0.0005408284 -1 -1 -1 0.00000 30
手册页 18 显示以下内容:
根据手册,第一次拆分发生在第三个变量(在此输出中为零),即gbm1$var.names[3]
“X3”。变量是有序因子。
types<-lapply (lapply(data[,gbm1$var.names],class), function(i) ifelse (strsplit(i[1]," ")[1]=="ordered","ordered",i))
types[3]
因此,拆分为 1.5,这意味着值“d 和 c”levels[[3]][1:2.5]
(也是从零开始)拆分到左侧节点,而其他 levels[[3]][3:4]
转到右侧。
接下来,规则继续在gbm1$var.names[2]
处进行拆分,如索引为 1 的行中的 SplitVar=1 所示。
有没有人写过任何东西来遍历这个数据结构(对于每棵树),构建规则,例如:
"如果 X3 在 ('d','c') 和 X2
我认为这棵树的第一条规则是这样解读的。
或者对如何最好地做到这一点有任何建议?
【问题讨论】:
我认为 SAS 中的 IML 可以提供解决方案。但是,我在这里不太了解 R。你能更清楚地解释这种模式吗? 嗨 Robbie - 无法访问 IML。寻找数据步骤。我为 pretty.gbm.tree 添加了列内容的描述。 也许你可以看看rattle,它为决策树实现了这样的功能(如Cross Validated 所讨论的)。我没有检查自己这是否适用于gbm
输出。
你明白了吗?我已经为 party::ctree 和 nnet 开发了从 R 到 SAS 的元编程,我想为 GBM 提供同样的功能。
@B_Miner 如果你还需要这方面的帮助,我这个周末就搞定了一个。它特定于我的用例,但应该很容易编辑。让我知道,我们可以找出一种谨慎的方式来传输文件。
【参考方案1】:
mlmeta 包具有 gbm2sas 函数,可将 GBM 模型从 R 导出到 SAS。
【讨论】:
【参考方案2】:这是一个非常通用的答案,说明如何做到这一点。
添加一些 R 代码以将输出写入文件。 https://stat.ethz.ch/R-manual/R-devel/library/base/html/sink.html
然后通过 SAS,访问执行 R 的能力:http://support.sas.com/documentation/cdl/en/hostunx/61879/HTML/default/viewer.htm#a000303551.htm (您需要知道您的 R 可执行文件在哪里,以便将您在上面编写的 R 代码指向可执行文件)
从那里您应该能够操纵 SAS 中的输出来进行您可能需要的任何评分。
如果只是一次性评分而不是过程,则省略 R 的 SAS 执行,只需开发 SAS 代码来解析 R 输出文件。
【讨论】:
以上是关于GBM 规则生成 - 编码建议的主要内容,如果未能解决你的问题,请参考以下文章