在python中通过其相似性进行图像聚类

Posted 2023-02-23

【中文标题】在python中通过其相似性进行图像聚类

【英文标题】：Image clustering by its similarity in python

【发布时间】：2016-12-31 14:17:35

【问题描述】：

我有一组照片，我想区分相似照片的集群。图像的哪些特征以及我应该使用哪种算法来解决我的任务？

【参考方案1】：

我遇到了同样的问题，我想出了这个解决方案：

使用 Keras 导入预训练模型（此处为 VGG16） 提取每张图片的特征 做kmeans 使用集群标签复制导出

这是我的代码，部分原因是 this post。

from keras.preprocessing import image
from keras.applications.vgg16 import VGG16
from keras.applications.vgg16 import preprocess_input
import numpy as np
from sklearn.cluster import KMeans
import os, shutil, glob, os.path
from PIL import Image as pil_image
image.LOAD_TRUNCATED_IMAGES = True 
model = VGG16(weights='imagenet', include_top=False)

# Variables
imdir = 'C:/indir/'
targetdir = "C:/outdir/"
number_clusters = 3

# Loop over files and get features
filelist = glob.glob(os.path.join(imdir, '*.jpg'))
filelist.sort()
featurelist = []
for i, imagepath in enumerate(filelist):
    print("    Status: %s / %s" %(i, len(filelist)), end="\r")
    img = image.load_img(imagepath, target_size=(224, 224))
    img_data = image.img_to_array(img)
    img_data = np.expand_dims(img_data, axis=0)
    img_data = preprocess_input(img_data)
    features = np.array(model.predict(img_data))
    featurelist.append(features.flatten())

# Clustering
kmeans = KMeans(n_clusters=number_clusters, random_state=0).fit(np.array(featurelist))

# Copy images renamed by cluster 
# Check if target dir exists
try:
    os.makedirs(targetdir)
except OSError:
    pass
# Copy with cluster name
print("\n")
for i, m in enumerate(kmeans.labels_):
    print("    Copy: %s / %s" %(i, len(kmeans.labels_)), end="\r")
    shutil.copy(filelist[i], targetdir + str(m) + "_" + str(i) + ".jpg")

【参考方案2】：

这个问题太笼统了。

一般来说，您可以使用任何clustering mechanism，例如一种流行的k-means。要为聚类准备数据，您需要将集合转换为数组 X，其中每一行都是一个示例（图像），每一列都是一个特征。

主要问题 - 你的功能应该是什么。如果不知道您要完成什么，就很难回答。如果您的图像很小且大小相同，您可以简单地将每个像素作为一个特征。如果您有任何元数据并想使用它进行排序 - 您可以将元数据中的每个标签都作为一个特征。

现在，如果您确实需要在图像之间找到一些模式，则必须应用额外的处理层，例如 convolutional neural network，它本质上允许您从图像的不同部分中提取特征。您可以将其视为一个过滤器，它将每个图像转换为 8x8 矩阵，然后相应地可以将其用作数组 X 中具有 64 个不同特征的行来进行聚类。

【讨论】：

我想让每个集群都包含相同对象/场景的照片，即我拍摄了我房间的三张照片，但位置略有不同，或者某些照片的光线较少。所以照片并不完全相等，但非常相似。

在这种情况下，我建议在深入研究深度学习（convnet）之前先尝试一种简单的方法。我只是从每个图像中提取像素图，特别是因为它们都具有相同的大小。将图片转换为黑白将帮助您降低复杂性。然后尝试应用 scikit-learn 中的 k-means。改变集群的数量以查看影响。但很可能您必须应用某种卷积网络才能获得有意义的结果。我只是建议分阶段进行。

事实上，我建议看一下 mahotas 库，它可以很好地适用于您的情况。链接 - mahotas.readthedocs.io/en/latest/features.html

我尝试获取harlick特征，但我不明白，为什么我得到每张图像的13x13矩阵？它不应该是一个 13x1 的向量，它为 13 个 haralick 特征中的每一个描述了一些数字吗？