如何提高 SVM 的性能？

Posted 2023-03-12

【中文标题】如何提高 SVM 的性能？

【英文标题】：How to improve the perfomance of SVM?

【发布时间】：2013-09-13 14:33:52

【问题描述】：

我使用 LIBSVM 和 MatLab 将 34x5 数据分为 3 个类别。我应用了 10 倍 Kfold 交叉验证方法和 RBF 内核。输出是这个混淆矩阵，正确率 0.88（准确率 88%）。这是我的混淆矩阵

9   0   0
0   3   0
0   4   18

我想知道在 SVM 中考虑哪些方法来提高机器学习技术中的准确性或其他分类方法。有什么帮助吗？

这是我的 SVM 分类代码

load Turn180SVM1; //load data file
libsvm_options = '-s 1 -t 2 -d 3 -r 0 -c 1 -n 0.1 -p 0.1 -m 100 -e 0.000001 -h 1 -b 0 -wi 1 -q';//svm options

C=size(Turn180SVM1,2);

% cross validation
for i = 1:10
    indices = crossvalind('Kfold',Turn180SVM1(:,C),10);
    cp = classperf(Turn180SVM1(:,C)); 
    for j = 1:10
        [X, Z] = find(indices(:,end)==j);%testing
        [Y, Z] = find(indices(:,end)~=j);%training


feature_training = Turn180SVM1([Y'],[1:C-1]); feature_testing = Turn180SVM1([X'],[1:C-1]);
class_training = Turn180SVM1([Y'],end); class_testing = Turn180SVM1([X'], end);
% SVM Training
       disp('training');
       [feature_training,ps] = mapminmax(feature_training',0,1);
       feature_training = feature_training';
       feature_testing = mapminmax('apply',feature_testing',ps)';
       model = svmtrain(class_training,feature_training,libsvm_options);  
% 

% SVM Prediction       
        disp('testing');
        TestPredict = svmpredict(class_testing,sparse(feature_testing),model);
       TestErrap = sum(TestPredict~=class_testing)./length(class_testing)*100;
         cp = classperf(cp, TestPredict, X);
        disp(((i-1)*10 )+j);
end;
end;
[ConMat,order] = confusionmat(TestPredict,class_testing);
cp.CorrectRate;
cp.CountingMatrix;

【问题讨论】：

从上面的混淆矩阵看来，你的实例并不多。如果可以，请尝试获取更多可能有帮助的数据（只要您通过绘制学习曲线了解bias-variancetradeoff）

是的，是的。有 34 个实例。如何绘制学习曲线？

***.com/q/4617365/97160

但是绘制它的命令是什么？

【参考方案1】：

存在许多方法。如果您的调优程序是最佳的（例如执行良好的交叉验证），您的选择包括：

改进预处理，或许可以根据领域知识定制新的聚合特征。最重要（也是最有效）：确保您的输入正确标准化，例如将每个维度缩放到 [-1,1]。

使用另一个内核：众所周知，RBF 内核在各种设置中都表现出色，但针对许多任务存在专门的内核。除非您知道自己在做什么，否则不要考虑这一点。由于您处理的是低维问题，如果您的数据不是结构化的，RBF 可能是一个不错的选择。

重新衡量训练实例：当您的数据集不平衡时尤其重要（例如，某些类的实例比其他类少得多）。您可以使用 libsvm 中的 -wX 选项来执行此操作。存在各种重新加权方案，包括提升的变体。我不是这个的主要粉丝，因为这种方法容易过度拟合。

更改交叉验证成本函数以满足您的确切需求。准确度真的是您正在寻找的还是您想要的，比如高F1 或高ROC-AUC？令人惊讶的是，有多少人优化了他们真正不感兴趣的性能指标。

【讨论】：

如何检查我的调音程序是否最佳？高 F1 4 是什么意思？以及使用其他方法而不是 SVM 的任何提示？

是的，我想要更高的准确度。可以这么说来说话有一个对角混淆矩阵。所以我想去掉混淆矩阵中非对角线中的4。

您可以尝试在 3-vs-rest 分类器中为第 3 类（第 3 行）的实例分配更高的权重，或在 3-vs-rest 中为第 2 类的实例分配较低的权重。请注意，这种摆弄不被认为是好的做法，因为您似乎正在尝试通过更改训练参数来优化测试集的性能。这会导致过拟合。

是的，我想要更高的准确度。可以这么说，我的最终目标是得到一个纯对角混淆矩阵。所以我想去掉混淆矩阵中非对角线中的 4

好的。我会试试的。那么其他一些分类机器学习方法呢？比如，DBN，或特征管理或马尔可夫决策过程？