SVM:使用超过 2 个特征时绘制决策面
Posted
技术标签:
【中文标题】SVM:使用超过 2 个特征时绘制决策面【英文标题】:SVM: plot decision surface when working with more than 2 features 【发布时间】:2020-07-28 04:56:13 【问题描述】:我正在使用 scikit-learn 的乳腺癌数据集,该数据集包含 30 个特征。 在 this tutorial 之后,对于不那么令人沮丧的 iris 数据集,我想出了如何绘制区分“良性”和“恶性”类别的决策表面,在考虑数据集的前两个特征时(平均半径和平均纹理)。
这是我得到的:
但是当使用数据集中的所有特征时如何表示计算的超平面呢?
我知道我无法绘制 30 维的图形,但我想将运行 svm.SVC(kernel='linear', C=1).fit(X_train, y_train)
时创建的超平面“投影”到显示平均纹理与平均半径的二维散点图上。
我读到了using PCA to reduce dimensionality,但我怀疑拟合“简化”数据集与将计算出的所有 30 个特征的超平面投影到 2D 图上是不同的。
到目前为止,这是我的代码:
from sklearn import datasets
import matplotlib.pyplot as plt
from sklearn.model_selection import train_test_split
from sklearn import svm
import numpy as np
#Load dataset
cancer = datasets.load_breast_cancer()
# Split dataset into training set and test set
X_train, X_test, y_train, y_test = train_test_split(cancer.data, cancer.target, test_size=0.3,random_state=109) # 70% training and 30% test
h = .02 # mesh step
C = 1.0 # Regularisation
clf = svm.SVC(kernel='linear', C=C).fit(X_train[:,:2], y_train) # Linear Kernel
x_min, x_max = X_train[:, 0].min() - 1, X_train[:, 0].max() + 1
y_min, y_max = X_train[:, 1].min() - 1, X_train[:, 1].max() + 1
xx, yy = np.meshgrid(np.arange(x_min, x_max, h),
np.arange(y_min, y_max, h))
Z = clf.predict(np.c_[xx.ravel(), yy.ravel()])
Z = Z.reshape(xx.shape)
plt.contourf(xx, yy, Z, cmap=plt.cm.coolwarm, alpha=0.8)
scat=plt.scatter(X_train[:, 0], X_train[:, 1], c=y_train)
legend1 = plt.legend(*scat.legend_elements(),
loc="upper right", title="diagnostic")
plt.xlabel('mean_radius')
plt.ylabel('mean_texture')
plt.xlim(xx.min(), xx.max())
plt.ylim(yy.min(), yy.max())
plt.show()
【问题讨论】:
我提供了 2 个示例。一个 2D 使用 3 个特征,一个 3D 使用 3 个特征。希望这会有所帮助 【参考方案1】:您无法将许多特征的决策面可视化。这是因为维度会太多,无法可视化 N 维曲面。
我在这里也写了一篇关于这个的文章: https://towardsdatascience.com/support-vector-machines-svm-clearly-explained-a-python-tutorial-for-classification-problems-29c539f3ad8?source=friends_link&sk=80f72ab272550d76a0cc3730d7c8af35
但是,您可以使用 2 个特征并绘制漂亮的决策曲面,如下所示。
案例 1:2 个特征的 2D 图并使用 iris 数据集
from sklearn.svm import SVC
import numpy as np
import matplotlib.pyplot as plt
from sklearn import svm, datasets
iris = datasets.load_iris()
X = iris.data[:, :2] # we only take the first two features.
y = iris.target
def make_meshgrid(x, y, h=.02):
x_min, x_max = x.min() - 1, x.max() + 1
y_min, y_max = y.min() - 1, y.max() + 1
xx, yy = np.meshgrid(np.arange(x_min, x_max, h), np.arange(y_min, y_max, h))
return xx, yy
def plot_contours(ax, clf, xx, yy, **params):
Z = clf.predict(np.c_[xx.ravel(), yy.ravel()])
Z = Z.reshape(xx.shape)
out = ax.contourf(xx, yy, Z, **params)
return out
model = svm.SVC(kernel='linear')
clf = model.fit(X, y)
fig, ax = plt.subplots()
# title for the plots
title = ('Decision surface of linear SVC ')
# Set-up grid for plotting.
X0, X1 = X[:, 0], X[:, 1]
xx, yy = make_meshgrid(X0, X1)
plot_contours(ax, clf, xx, yy, cmap=plt.cm.coolwarm, alpha=0.8)
ax.scatter(X0, X1, c=y, cmap=plt.cm.coolwarm, s=20, edgecolors='k')
ax.set_ylabel('y label here')
ax.set_xlabel('x label here')
ax.set_xticks(())
ax.set_yticks(())
ax.set_title(title)
ax.legend()
plt.show()
案例 2:3 个特征的 3D 图并使用 iris 数据集
from sklearn.svm import SVC
import numpy as np
import matplotlib.pyplot as plt
from sklearn import svm, datasets
from mpl_toolkits.mplot3d import Axes3D
iris = datasets.load_iris()
X = iris.data[:, :3] # we only take the first three features.
Y = iris.target
#make it binary classification problem
X = X[np.logical_or(Y==0,Y==1)]
Y = Y[np.logical_or(Y==0,Y==1)]
model = svm.SVC(kernel='linear')
clf = model.fit(X, Y)
# The equation of the separating plane is given by all x so that np.dot(svc.coef_[0], x) + b = 0.
# Solve for w3 (z)
z = lambda x,y: (-clf.intercept_[0]-clf.coef_[0][0]*x -clf.coef_[0][1]*y) / clf.coef_[0][2]
tmp = np.linspace(-5,5,30)
x,y = np.meshgrid(tmp,tmp)
fig = plt.figure()
ax = fig.add_subplot(111, projection='3d')
ax.plot3D(X[Y==0,0], X[Y==0,1], X[Y==0,2],'ob')
ax.plot3D(X[Y==1,0], X[Y==1,1], X[Y==1,2],'sr')
ax.plot_surface(x, y, z(x,y))
ax.view_init(30, 60)
plt.show()
【讨论】:
嘿,谢谢你的回答,塞拉卢克。我真的很喜欢 3 个功能的 3D 情节;我相信这在未来会派上用场!【参考方案2】:如果不进行任何二维转换,则无法绘制 30 维数据。
https://github.com/tmadl/highdimensional-decision-boundary-plot
什么是 Voronoi 曲面细分? 给定一组 P := p1, ..., pn 的站点,Voronoi Tessellation 是将空间细分为 n 个单元,P 中的每个站点一个单元,其属性是点 q 位于对应的单元中到一个站点 pi 当 i 不同于 j 时 d(pi, q) https://philogb.github.io/blog/2010/02/12/voronoi-tessellation/
在几何学中,质心 Voronoi 细分 (CVT) 是一种特殊类型的 Voronoi 细分或 Voronoi 图。当每个 Voronoi 单元的生成点也是其质心(即算术平均值或质心)时,Voronoi 镶嵌被称为质心。它可以看作是对应于生成器的最佳分布的最佳分区。许多算法可用于生成质心 Voronoi 镶嵌,包括用于 K-means 聚类的 Lloyd 算法或 BFGS 等准牛顿方法。 - 维基
import numpy as np, matplotlib.pyplot as plt
from sklearn.neighbors.classification import KNeighborsClassifier
from sklearn.datasets.base import load_breast_cancer
from sklearn.manifold.t_sne import TSNE
from sklearn import svm
bcd = load_breast_cancer()
X,y = bcd.data, bcd.target
X_Train_embedded = TSNE(n_components=2).fit_transform(X)
print(X_Train_embedded.shape)
h = .02 # mesh step
C = 1.0 # Regularisation
clf = svm.SVC(kernel='linear', C=C) # Linear Kernel
clf = clf.fit(X,y)
y_predicted = clf.predict(X)
resolution = 100 # 100x100 background pixels
X2d_xmin, X2d_xmax = np.min(X_Train_embedded[:,0]), np.max(X_Train_embedded[:,0])
X2d_ymin, X2d_ymax = np.min(X_Train_embedded[:,1]), np.max(X_Train_embedded[:,1])
xx, yy = np.meshgrid(np.linspace(X2d_xmin, X2d_xmax, resolution), np.linspace(X2d_ymin, X2d_ymax, resolution))
# approximate Voronoi tesselation on resolution x resolution grid using 1-NN
background_model = KNeighborsClassifier(n_neighbors=1).fit(X_Train_embedded, y_predicted)
voronoiBackground = background_model.predict(np.c_[xx.ravel(), yy.ravel()])
voronoiBackground = voronoiBackground.reshape((resolution, resolution))
#plot
plt.contourf(xx, yy, voronoiBackground)
plt.scatter(X_Train_embedded[:,0], X_Train_embedded[:,1], c=y)
plt.show()
【讨论】:
感谢您的回答,furcifer!我需要解决这个问题……我的理解是,您图中表示的决策面是基于所有 30 个特征建立的;我对么?仍然让我感到困惑的部分是KNeighborsClassifier(n_neighbors=1).fit(X_Train_embedded, y_predicted)
,因为它使用仅针对 2 个特征计算的 X_Train_embedded 和基于所有 30 个特征的 y_predicted...以上是关于SVM:使用超过 2 个特征时绘制决策面的主要内容,如果未能解决你的问题,请参考以下文章
如何在 sklearn Python 中绘制 SVM 决策边界?