将一组图像分类为类

Posted 2023-03-12

【中文标题】将一组图像分类为类

【英文标题】：Classifiying a set of Images into Classes

【发布时间】：2013-04-24 12:07:36

【问题描述】：

我有一组图片需要对它们进行分类的问题。

问题是，我对这些图像一无所知。因此，我计划使用尽可能多的描述符，然后对这些描述符进行 PCA，以仅识别对我有用的描述符。

如果有帮助的话，我可以对很多数据点进行监督学习。但是，图片有可能相互连接。这意味着可能存在从图像 X 到图像 X+1 的发展，尽管我有点希望通过每个图像中的信息来解决这个问题。

我的问题是：

在使用 Python 时如何做到最好？ （我想首先在速度不是问题的情况下进行概念验证）。我应该使用哪些库？ 是否已有此类图像分类的示例？使用一堆描述符并通过 PCA 将它们煮熟的示例？老实说，这部分对我来说有点吓人。虽然我认为 python 应该已经为我做了这样的事情。

编辑： 我找到了一个我目前正在尝试的简洁工具包：http://scikit-image.org/ 那里似乎有一些描述符。有没有办法进行自动特征提取并根据特征对目标分类的描述能力对特征进行排名？ PCA 应该能够自动排名。

编辑 2： 我的数据存储框架现在更加完善了。我将使用 Fat 系统作为数据库。我将为类组合的每个实例创建一个文件夹。因此，如果图像属于 1 类和 2 类，则会有一个包含这些图像的文件夹 img12。这样我可以更好地控制每个类的数据量。

编辑 3： 我找到了一个 python 库（sklearn）的例子，它可以做一些我想做的事情。它是关于识别手写数字。我正在尝试将我的数据集转换为我可以使用的东西。

这是我使用 sklearn 找到的示例：

import pylab as pl

# Import datasets, classifiers and performance metrics
from sklearn import datasets, svm, metrics

# The digits dataset
digits = datasets.load_digits()

# The data that we are interested in is made of 8x8 images of digits,
# let's have a look at the first 3 images, stored in the `images`
# attribute of the dataset. If we were working from image files, we
# could load them using pylab.imread. For these images know which
# digit they represent: it is given in the 'target' of the dataset.
for index, (image, label) in enumerate(zip(digits.images, digits.target)[:4]):
    pl.subplot(2, 4, index + 1)
    pl.axis('off')
    pl.imshow(image, cmap=pl.cm.gray_r, interpolation='nearest')
    pl.title('Training: %i' % label)

# To apply an classifier on this data, we need to flatten the image, to
# turn the data in a (samples, feature) matrix:
n_samples = len(digits.images)
data = digits.images.reshape((n_samples, -1))

# Create a classifier: a support vector classifier
classifier = svm.SVC(gamma=0.001)

# We learn the digits on the first half of the digits
classifier.fit(data[:n_samples / 2], digits.target[:n_samples / 2])

# Now predict the value of the digit on the second half:
expected = digits.target[n_samples / 2:]
predicted = classifier.predict(data[n_samples / 2:])

print("Classification report for classifier %s:\n%s\n"
      % (classifier, metrics.classification_report(expected, predicted)))
print("Confusion matrix:\n%s" % metrics.confusion_matrix(expected, predicted))

for index, (image, prediction) in enumerate(
        zip(digits.images[n_samples / 2:], predicted)[:4]):
    pl.subplot(2, 4, index + 5)
    pl.axis('off')
    pl.imshow(image, cmap=pl.cm.gray_r, interpolation='nearest')
    pl.title('Prediction: %i' % prediction)

pl.show()

【问题讨论】：

到目前为止，您尝试了什么？显示一些努力伙伴。

我将编辑我目前完成的内容。

【参考方案1】：

您可以将图片转换为像素向量，并对该向量执行 PCA。这可能比尝试手动查找描述符更容易。您可以在 python 中使用 numPy 和 sciPy。 例如：

import scipy.io
from numpy import *
#every row in the *.mat file is 256*256 numbers representing gray scale values
#for each pixel in an image. i.e. if XTrain.mat has 1000 lines than each line
#will be made up of 256*256 numbers and there would be 1000 images in the file.
#The following loads the image into a sciPy matrix where each row is a vector
#of length 256*256, representing an image. This code will need to be switched
#out if you have a different method of storing images.
Xtrain = scipy.io.loadmat('Xtrain.mat')["Xtrain"]
Ytrain = scipy.io.loadmat('Ytrain.mat')["Ytrain"]
Xtest = scipy.io.loadmat('Xtest.mat')["Xtest"]
Ytest = scipy.io.loadmat('Ytest.mat')["Ytest"]
learn(Xtest,Xtrain,Ytest,Ytrain,5) #this lowers the dimension from 256*256 to 5

def learn(testX,trainX,testY,trainY,n):
    pcmat = PCA(trainX,n)
    lowdimtrain=mat(trainX)*pcmat #lower the dimension of trainX
    lowdimtest=mat(testX)*pcmat #lower the dimension of testX
    #run some learning algorithm here using the low dimension matrices for example
    trainset = []    

    knnres = KNN(lowdimtrain, trainY, lowdimtest ,k)
    numloss=0
    for i in range(len(knnres)):
        if knnres[i]!=testY[i]:
            numloss+=1
    return numloss

def PCA(Xparam, n):
    X = mat(Xparam)
    Xtranspose = X.transpose()
    A=Xtranspose*X
    return eigs(A,n)

def eigs(M,k):
    [vals,vecs]=LA.eig(M)
    return LM2ML(vecs[:k])

def LM2ML(lm):
    U=[[]]
    temp = []
    for i in lm: 
       for j in range(size(i)):
           temp.append(i[0,j])
       U.append(temp)
       temp = []
    U=U[1:]
    return U

为了对图像进行分类，您可以使用 k 近邻。即，您找到 k 个最近的图像，并通过对 k 个最近的图像的多数投票来标记您的图像。例如：

def KNN(trainset, Ytrainvec, testset, k):
    eucdist = scidist.cdist(testset,trainset,'sqeuclidean')
    res=[]
    for dists in eucdist:
        distup = zip(dists, Ytrainvec)
        minVals = []
    sumLabel=0;
    for it in range(k):
        minIndex = index_min(dists)
        (minVal,minLabel) = distup[minIndex]
        del distup[minIndex]
        dists=numpy.delete(dists,minIndex,0)
        if minLabel == 1:
            sumLabel+=1
        else:
            sumLabel-=1
        if(sumLabel>0):
            res.append(1)
        else:
            res.append(0)
    return res

【讨论】：

你能举个例子吗？

我加了一个例子，希望对你有帮助。

【参考方案2】：

我知道我没有直接回答你的问题。但图像差异很大：遥感、物体、场景、功能磁共振成像、生物医学、人脸等...如果您缩小分类范围并告诉我们会有所帮助。

你在计算什么描述符？我使用的大部分代码（以及计算机视觉社区）都在 MATLAB 中，而不是在 python 中，但我确信有类似的代码可用（pycv 模块和http://www.pythonware.com/products/pil/）。试试这个描述符基准，它预编译了麻省理工学院人员提供的最先进的代码：http://people.csail.mit.edu/jxiao/SUN/ 试试看 GIST、HOG 和 SIFT，这些都是非常标准的，取决于你想要分析的内容：场景、对象或分别点。

【讨论】：

有没有办法同时使用所有这些描述符？然后，PCA 应该能够淘汰那些没有贡献的人。你能用python代码做一个例子吗？

你的方法的问题是你试图用纯粹的“程序员方法”来解决它，而不是依赖可以给你捷径的计算机视觉文献。我相信您可以混合一些描述符并配置一个巨大的特征向量并对每个向量进行归一化，但是您的方法看起来非常“粗鲁”。您甚至还没有定义您计划使用我之前提到的类别的图像类型。

这是故意的。我试图在不求助于计算机视觉的情况下过日子。我希望算法自己找出图像中的重要内容。这应该完全取决于数据。

【参考方案3】：

然后使用此功能：

xx = np.arange(64)

def feature_11(xx)：

yy=xx.reshape(8,8)
feature_1 = sum(yy[0:2,:])
feature11 = sum(feature_1)
print (feature11)
return feature11

feature_11(X_digits[1778])

然后使用lda：

从 sklearn.discriminant_analysis 导入 LinearDiscriminantAnalysis

clf = 线性判别分析()

ind_all = np.arange(0,len(y_digits))

np.random.shuffle(ind_all)

ind_training = ind_all[0:int(0.8 * len(ind_all)) ]

ind_test = ind_all[int(0.8 * len(ind_all)):]

clf.fit(X_digits[ind_training], y_digits[ind_training])

y_predicted = clf.predict(X_digits[ind_test])

plt.subplot(211)

plt.stem(y_predicted)

plt.subplot(212)

plt.stem(y_digits[ind_test], 'r')

plt.stem(y_digits[ind_test] - y_predicted, 'r')

sum (y_predicted == y_digits[ind_test]) / len(y_predicted)

【讨论】：

请为您的答案添加一些解释。只显示代码可能会造成混淆。

【参考方案4】：

首先，导入库并提取图片

from sklearn import datasets    
%matplotlib inline
import sklearn as sk
import numpy as np
import matplotlib.pyplot as plt
digits = datasets.load_digits()
X_digits = digits.data
y_digits = digits.target
ind4 = np.where(y_digits==4)
ind5=  np.where(y_digits==5)
plt.imshow(X_digits[1778].reshape((8,8)),cmap=plt.cm.gray_r)