如何使用 numpy 生成多类测试数据集?

Posted

技术标签:

【中文标题】如何使用 numpy 生成多类测试数据集?【英文标题】:How to generate multi class test dataset using numpy? 【发布时间】:2019-04-23 16:54:46 【问题描述】:

我想使用 numpy 生成一个多类测试数据集,仅用于分类问题。 例如,X 是一个 numpy 维度数组(mxn),y 维度(mx1),假设有 k 个没有。的类。请帮我写代码。 [这里X代表特征,y代表标签]

【问题讨论】:

查看来自 scikit-learn 的 make_classification。您可以在其中指定数组的大小和类的数量,它们也会有些合适。它不能满足您对 numpy 的需求,因为您必须安装 scikit-learn,但在内部它仍然使用 numpy。所以也许你可以从源代码中做点什么。 【参考方案1】:

您可以使用np.random.randint 喜欢:

import numpy as np
m = 4
n = 4
k = 5
X = np.random.randint(0,2,(m,n))

X
array([[1, 1, 1, 1],
   [1, 0, 0, 1],
   [1, 1, 0, 0],
   [1, 1, 1, 1]])

y = np.random.randint(0,k,m)

y
array([3, 3, 0, 4])

【讨论】:

我试过了,但这有点太随意了。我需要为多类生成积分。就像一些点将代表一个类或组,它们应该彼此靠近。接近我的意思是欧几里得距离。例如。您正在使用此数据集测试 KNN 算法,但由于它不能正确表示类,因此您无法使用它。 我不明白你的要求,也许你可以澄清一下你期望什么样的输出。 类似in.mathworks.com/matlabcentral/mlc-downloads/downloads/…【参考方案2】:

您可以使用 numpy 创建多类数据集,如下所示 -

def generate_dataset(size, classes=2, noise=0.5):
    # Generate random datapoints
    labels = np.random.randint(0, classes, size)
    x = (np.random.rand(size) + labels) / classes
    y = x + np.random.rand(size) * noise
    # Reshape data in order to merge them
    x = x.reshape(size, 1)
    y = y.reshape(size, 1)
    labels = labels.reshape(size, 1)
    # Merge the data
    data = np.hstack((x, y, labels))
    return data

当使用 matplotlib 可视化时,生成的数据将如下所示 -

您可以使用classesnoise 参数更改类数和数据分布。这里我保持了 x 轴和 y 轴值之间的线性关系,也可以根据需要进行更改。

【讨论】:

以上是关于如何使用 numpy 生成多类测试数据集?的主要内容,如果未能解决你的问题,请参考以下文章

如何在 Pytorch Lightning 中使用 numpy 数据集

如何在ios中动态生成多页pdf时处理分页

如何鞋子批发生成多站点

如何在 nodejs 中侦听和生成多个子进程

poi根据模版生成多页word,并压缩下载

[oldboy-django][2深入django]老师管理 -- form表单如何生成多选框标签,多选框的默认值显示,以及多选框数据插入到数据库,多选框数据更改到数据库