如何使用 numpy 生成多类测试数据集？

Posted 2023-03-13

【中文标题】如何使用 numpy 生成多类测试数据集？

【英文标题】：How to generate multi class test dataset using numpy?

【发布时间】：2019-04-23 16:54:46

【问题描述】：

我想使用 numpy 生成一个多类测试数据集，仅用于分类问题。 例如，X 是一个 numpy 维度数组（mxn），y 维度（mx1），假设有 k 个没有。的类。请帮我写代码。 [这里X代表特征，y代表标签]

【问题讨论】：

查看来自 scikit-learn 的 make_classification。您可以在其中指定数组的大小和类的数量，它们也会有些合适。它不能满足您对 numpy 的需求，因为您必须安装 scikit-learn，但在内部它仍然使用 numpy。所以也许你可以从源代码中做点什么。

【参考方案1】：

您可以使用np.random.randint 喜欢：

import numpy as np
m = 4
n = 4
k = 5
X = np.random.randint(0,2,(m,n))

X
array([[1, 1, 1, 1],
   [1, 0, 0, 1],
   [1, 1, 0, 0],
   [1, 1, 1, 1]])

y = np.random.randint(0,k,m)

y
array([3, 3, 0, 4])

【讨论】：

我试过了，但这有点太随意了。我需要为多类生成积分。就像一些点将代表一个类或组，它们应该彼此靠近。接近我的意思是欧几里得距离。例如。您正在使用此数据集测试 KNN 算法，但由于它不能正确表示类，因此您无法使用它。

我不明白你的要求，也许你可以澄清一下你期望什么样的输出。

类似in.mathworks.com/matlabcentral/mlc-downloads/downloads/…

【参考方案2】：

您可以使用 numpy 创建多类数据集，如下所示 -

def generate_dataset(size, classes=2, noise=0.5):
    # Generate random datapoints
    labels = np.random.randint(0, classes, size)
    x = (np.random.rand(size) + labels) / classes
    y = x + np.random.rand(size) * noise
    # Reshape data in order to merge them
    x = x.reshape(size, 1)
    y = y.reshape(size, 1)
    labels = labels.reshape(size, 1)
    # Merge the data
    data = np.hstack((x, y, labels))
    return data

当使用 matplotlib 可视化时，生成的数据将如下所示 -

您可以使用classes 和noise 参数更改类数和数据分布。这里我保持了 x 轴和 y 轴值之间的线性关系，也可以根据需要进行更改。