R(e1071)中奇怪的 svm 行为

Posted

技术标签:

【中文标题】R(e1071)中奇怪的 svm 行为【英文标题】:weird svm behavior in R (e1071) 【发布时间】:2019-01-21 23:02:04 【问题描述】:

我在 R(第一个示例)和 Python(第二个示例)中为带有 SVM 的二进制分类任务运行了以下代码。

给定随机生成的数据(X) 和响应(Y),此代码执行离开组交叉验证 1000 次。因此,Y 的每个条目都是 CV 迭代中预测的平均值。

曲线下的计算面积应为 ~0.5,因为 XY 是完全随机的。然而,这不是我们所看到的。曲线下面积通常显着高于 0.5。 X 的行数非常少,这显然会导致问题。

知道这里会发生什么吗?我知道我可以增加X 的行数或减少列数来调解问题,但我正在寻找其他问题。

Y=as.factor(rep(c(1,2), times=14))
X=matrix(runif(length(Y)*100), nrow=length(Y))

library(e1071)
library(pROC)

colnames(X)=1:ncol(X)
iter=1000
ansMat=matrix(NA,length(Y),iter)
for(i in seq(iter))    
    #get train

    train=sample(seq(length(Y)),0.5*length(Y))
    if(min(table(Y[train]))==0)
    next

    #test from train
    test=seq(length(Y))[-train]

    #train model
    XX=X[train,]
    YY=Y[train]
    mod=svm(XX,YY,probability=FALSE)
    XXX=X[test,]
    predVec=predict(mod,XXX)
    RFans=attr(predVec,'decision.values')
    ansMat[test,i]=as.numeric(predVec)


ans=rowMeans(ansMat,na.rm=TRUE)

r=roc(Y,ans)$auc
print(r)

同样,当我在 Python 中实现相同的东西时,我会得到类似的结果。

Y = np.array([1, 2]*14)
X = np.random.uniform(size=[len(Y), 100])
n_iter = 1000
ansMat = np.full((len(Y), n_iter), np.nan)
for i in range(n_iter):
    # Get train/test index
    train = np.random.choice(range(len(Y)), size=int(0.5*len(Y)), replace=False, p=None)
    if len(np.unique(Y)) == 1:
        continue
    test = np.array([i for i in range(len(Y)) if i not in train])
    # train model
    mod = SVC(probability=False)
    mod.fit(X=X[train, :], y=Y[train])
    # predict and collect answer
    ansMat[test, i] = mod.predict(X[test, :])
ans = np.nanmean(ansMat, axis=1)
fpr, tpr, thresholds = roc_curve(Y, ans, pos_label=1)
print(auc(fpr, tpr))`

【问题讨论】:

我在 2015 年初为 apache spark 创建并提交了 SpectralClustering 实现,所以我只需要看看您的第一个问题。 【参考方案1】:

您应该将交叉验证的每次迭代视为一个独立的实验,在其中您使用训练集进行训练,使用测试集进行测试,然后计算模型技能得分(在本例中为 AUC)。

因此,您实际上应该做的是计算每次 CV 迭代的 AUC。然后取 AUC 的平均值。

【讨论】:

以上是关于R(e1071)中奇怪的 svm 行为的主要内容,如果未能解决你的问题,请参考以下文章

zsh 中奇怪的“工作”行为

列表理解中奇怪的 lambda 行为

UIImageView 中奇怪的对齐行为

Chrome中奇怪的document.cookie行为[重复]

C中奇怪的malloc行为

Firefox 中奇怪的引导进度条行为