Libsvm 分类 MATLAB

Posted 2023-03-12

【中文标题】Libsvm 分类 MATLAB

【英文标题】：Libsvm Classification MATLAB

【发布时间】：2013-10-21 19:51:22

【问题描述】：

我用1~200个数据作为训练数据，201~220个作为测试数据 格式喜欢：3类（1类，2类，3类）和20个特征

2 1:100 2:96 3:88 4:94 5:96 6:94 7:72 8:68 9:69 10:70 11:76 12:70 13:73 14:71 15:74 16:76 17:78 18:81 19:76 20:76 
2 1:96 2:100 3:88 4:88 5:90 6:98 7:71 8:66 9:63 10:74 11:75 12:66 13:71 14:68 15:74 16:78 17:78 18:85 19:77 20:76 
2 1:88 2:88 3:100 4:96 5:91 6:89 7:70 8:70 9:68 10:74 11:76 12:71 13:73 14:74 15:79 16:77 17:73 18:80 19:78 20:78 
2 1:94 2:87 3:96 4:100 5:92 6:88 7:76 8:73 9:71 10:70 11:74 12:67 13:71 14:71 15:76 16:77 17:71 18:80 19:73 20:73 
2 1:96 2:90 3:91 4:93 5:100 6:92 7:74 8:67 9:67 10:75 11:75 12:67 13:74 14:73 15:77 16:77 17:75 18:82 19:76 20:74 
2 1:93 2:98 3:90 4:88 5:92 6:100 7:73 8:66 9:65 10:73 11:78 12:69 13:73 14:72 15:75 16:74 17:75 18:83 19:79 20:77 
3 1:73 2:71 3:73 4:76 5:74 6:73 7:100 8:79 9:79 10:71 11:65 12:58 13:67 14:73 15:74 16:72 17:60 18:63 19:64 20:60 
3 1:68 2:66 3:70 4:73 5:68 6:67 7:78 8:100 9:85 10:77 11:57 12:57 13:58 14:62 15:68 16:64 17:59 18:57 19:57 20:59 
3 1:69 2:64 3:70 4:72 5:69 6:65 7:78 8:85 9:100 10:70 11:56 12:63 13:62 14:61 15:64 16:69 17:56 18:55 19:55 20:51 
3 1:71 2:74 3:74 4:70 5:76 6:73 7:71 8:73 9:71 10:100 11:58 12:58 13:59 14:60 15:58 16:65 17:57 18:57 19:63 20:57 
1 1:77 2:75 3:76 4:73 5:75 6:79 7:66 8:56 9:56 10:59 11:100 12:77 13:84 14:79 15:82 16:80 17:82 18:82 19:81 20:82 
1 1:70 2:66 3:71 4:67 5:67 6:70 7:63 8:57 9:62 10:58 11:77 12:100 13:84 14:75 15:76 16:78 17:73 18:72 19:87 20:80 
1 1:73 2:72 3:73 4:71 5:74 6:74 7:68 8:58 9:61 10:59 11:84 12:84 13:100 14:86 15:88 16:91 17:81 18:81 19:84 20:86 
1 1:71 2:69 3:75 4:71 5:73 6:73 7:74 8:61 9:61 10:60 11:79 12:75 13:86 14:100 15:90 16:88 17:74 18:79 19:81 20:82 
1 1:74 2:74 3:80 4:76 5:78 6:76 7:73 8:66 9:64 10:59 11:81 12:76 13:88 14:90 15:100 16:93 17:74 18:83 19:81 20:85 
1 1:76 2:77 3:77 4:76 5:78 6:75 7:73 8:64 9:68 10:65 11:80 12:78 13:91 14:88 15:93 16:100 17:79 18:79 19:82 20:83 
1 1:78 2:78 3:73 4:71 5:75 6:75 7:61 8:58 9:57 10:56 11:82 12:73 13:81 14:74 15:74 16:80 17:100 18:85 19:80 20:85 
1 1:81 2:85 3:79 4:80 5:82 6:82 7:63 8:56 9:55 10:57 11:82 12:72 13:81 14:79 15:83 16:79 17:85 18:100 19:83 20:79 
1 1:76 2:77 3:78 4:75 5:76 6:79 7:65 8:57 9:57 10:63 11:81 12:87 13:84 14:81 15:81 16:82 17:80 18:83 19:100 20:87 
1 1:76 2:76 3:78 4:73 5:75 6:78 7:60 8:59 9:51 10:57 11:82 12:80 13:86 14:82 15:85 16:83 17:85 18:79 19:87 20:100 

然后，我编写代码对它们进行分类：

% read the data set
[image_label, image_features] = libsvmread(fullfile('D:\...'));
[N D] = size(image_features);

% Determine the train and test index
trainIndex = zeros(N,1); 
trainIndex(1:200) = 1;
testIndex = zeros(N,1); 
testIndex(201:N) = 1;
trainData = image_features(trainIndex==1,:);
trainLabel = image_label(trainIndex==1,:);
testData = image_features(testIndex==1,:);
testLabel = image_label(testIndex==1,:);

% Train the SVM 
model = svmtrain(trainLabel, trainData, '-c 1 -g 0.05 -b 1'); 

% Use the SVM model to classify the data 
[predict_label, accuracy, prob_values] = svmpredict(testLabel, testData, model, '-b 1');

但是predict_label的最终结果都是class 1，所以准确率是50%，不能得到class 2和class 3的正确predict label。 数据格式或我实现的代码有问题吗？ 请帮助我，非常感谢。

【参考方案1】：

为了详细说明问题，这里至少存在三个问题：

您只需检查参数 C (c) 和 Gamma (g) 的一个值 - SVM 的行为很大程度上取决于这些参数的正确选择，因此使用使用cross validation testing 进行网格搜索以选择最佳的。

数据规模在这里也起着重要的作用，如果某些维度比其他维度大得多，你会偏向整个分类器，为了处理它，至少有两种基本方法：1。将每个维度线性缩放到某个区间（如 [0,1] 或 [-1,1]）或通过 Sigma^(-1/2) 变换来归一化数据，其中 Sigma 是数据协方差矩阵

李>

标签不平衡 - 当每个类中的点数完全相同时，SVM 效果最佳。一旦不正确，您应该使用class weighting scheme 以获得有效结果。

解决这三个问题后，您应该会得到合理的结果。

【讨论】：

我可以和你核实一下 svmpredict：例如，代码为 [predict_label, accuracy, prob_values] = svmpredict(testLabel, testData, model); prob_values 可以是负数吗？因为我可以有很多 svmpredict 的 prob_values 的负值

概率应该是非负的，负概率的唯一原因实际上是在对数似然上工作，但据我所知，svmlib 在这里不使用对数转换。虽然这是一个单独的问题，因此您应该将其作为一个单独的问题提出，并提供可重现的代码和数据，以便我们找到这种行为的原因

非常感谢，我会再次测试，尝试找到问题。

【参考方案2】：

我的猜测是你想要调整你的参数。

对您的 -c 和 -g 值（通常为对数，例如 -c 10^(-3:5) ）进行循环并选择最佳值。

也就是说，建议标准化您的数据，例如。缩放它，使所有值都在 0 和 1 之间。