sklearn 绘制来自 SVM 分类器的结果

Posted 2023-03-12

【中文标题】sklearn 绘制来自 SVM 分类器的结果

【英文标题】：sklearn ploting results from SVM classifier

【发布时间】：2013-08-16 04:16:56

【问题描述】：

我正在尝试绘制我的 svm 分类器结果。 “小程序”显示为here。对于绘图，我将继续使用this scikit-learn 的示例。我已经修改了代码，如下所示。好吧，我不知道我是否走在正确的道路上，因为如果集群中心（100 到 300 个原始数据之间）也减少或发生了什么，我不明白我何时将我的数据减少到二维当我试图采用大的“维度”并将它们压缩成二维时。也许有人可以为我解释一下^^

#!/usr/bin/env python

import numpy as np
import pylab as pl
from matplotlib.colors import ListedColormap
from sklearn.decomposition import PCA
from sklearn.cluster import KMeans

def reduce_dim(datas):
    pca = PCA(n_components=2)
    pca.fit(datas)
    data_pca = pca.transform(datas)
    return data_pca

def plotter_plot(kmeans, clf, X, X_train, X_test, y_train, y_test):
    names = ["RBF SVM"]
    classifiers = []
    classifiers.append(clf)

    h = .01  # step size in the mesh
    X_r = reduce_dim(X)
    X_train_r = reduce_dim(X_train)
    X_test_r = reduce_dim(X_test)

    figure = pl.figure(figsize=(15, 5))

    x_min, x_max = X_r[:, 0].min() - .5, X_r[:, 0].max() + .5
    y_min, y_max = X_r[:, 1].min() - .5, X_r[:, 1].max() + .5
    xx, yy = np.meshgrid(np.arange(x_min, x_max, h),np.arange(y_min, y_max, h))

    # just plot the dataset first
    cm = pl.cm.RdBu
    cm_bright = ListedColormap(['#FF0000', '#0000FF'])
    ax = pl.subplot(1, 2, 1)
    # Plot the training points
    ax.scatter(X_train[:, 0], X_train[:, 1], c=y_train, cmap=cm_bright)
    # and testing points
    ax.scatter(X_test[:, 0], X_test[:, 1], c=y_test, cmap=cm_bright, alpha=0.6)
    ax.set_xlim(xx.min(), xx.max())
    ax.set_ylim(yy.min(), yy.max())
    ax.set_xticks(())
    ax.set_yticks(())
    i = 2
    for name, clf in zip(names, classifiers):
        ax = pl.subplot(1, 2, i)
        clf.fit(X_train_r, y_train)
        score = clf.score(X_test_r, y_test)

        # Plot the decision boundary. For that, we will assign a color to each
        # point in the mesh [x_min, m_max]x[y_min, y_max].
        if hasattr(clf, "decision_function"):
            Z = clf.decision_function(np.c_[xx.ravel(), yy.ravel()])
        else:
            Z = clf.predict_proba(np.c_[xx.ravel(), yy.ravel()])[:, 1]

        # Put the result into a color plot
        Z = Z.reshape(xx.shape)
        ax.contourf(xx, yy, Z, cmap=cm, alpha=.8)

        # Plot also the training points
        ax.scatter(X_train_r[:, 0], X_train_r[:, 1], c=y_train, cmap=cm_bright)
        # and testing points
        ax.scatter(X_test_r[:, 0], X_test_r[:, 1], c=y_test, cmap=cm_bright,
              alpha=0.6)

        ax.set_xlim(xx.min(), xx.max())
        ax.set_ylim(yy.min(), yy.max())
        ax.set_xticks(())
        ax.set_yticks(())
        ax.set_title(name)
        ax.text(xx.max() - .3, yy.min() + .3, ('%.2f' % score).lstrip('0'),
            size=15, horizontalalignment='right')
        i += 1

    figure.subplots_adjust(left=.02, right=.98)
    pl.show()

这是用 clf 再次拟合“减少数据”的正确方法吗？他们已经通过训练和分类适应了！那么是有错误还是我应该再次拟合二维数据？

谢谢...

【问题讨论】：

哦，嘿，琳达，是你 ^^ 在我发布答案后才看到 g

【参考方案1】：

简短回答：您尝试做的事情是不可能的。 之前已经在 SO 上多次询问过这个问题。

您不能在 2d 中绘制 n 维决策面。 您可以做的只是在 2d 中绘制数据的投影并根据它们的预测标记它们。

有一个情节类似于您想要的in this example。 我是这个例子的作者，但我不确定这个情节有什么真正的意义。我从不使用这样的图来检查我的分类器。

【讨论】：

嗨 Andreas 我也在关注您引用的代码......那么代码的意义何在？您会推荐什么作为以图形方式（或近似 - 以某种方式显示）分类表面的好方法？谢谢！

代码是一次可视化的尝试。我宁愿尝试可视化点的标签而不是空间的标签。您可以进行流形学习/ pca 并根据它们的分类标记点。正如我在原始帖子中所说的那样，这应该会有所帮助。

谢谢安德烈亚斯！。 PCA 也在代码中完成，以根据类分散图。我想 t-SNE 也是一个很好的候选者。干杯。

是的，但不幸的是，我们在 sklearn 中还没有它。不过，我们确实有 LLE 和 Isomap。

还有一个问题，是否计划在某个时候支持 t-SNE？或者这将是一个贡献的好项目？