如何使用 numpy 生成多类测试数据集?
Posted
技术标签:
【中文标题】如何使用 numpy 生成多类测试数据集?【英文标题】:How to generate multi class test dataset using numpy? 【发布时间】:2019-04-23 16:54:46 【问题描述】:我想使用 numpy 生成一个多类测试数据集,仅用于分类问题。 例如,X 是一个 numpy 维度数组(mxn),y 维度(mx1),假设有 k 个没有。的类。请帮我写代码。 [这里X代表特征,y代表标签]
【问题讨论】:
查看来自 scikit-learn 的 make_classification。您可以在其中指定数组的大小和类的数量,它们也会有些合适。它不能满足您对 numpy 的需求,因为您必须安装 scikit-learn,但在内部它仍然使用 numpy。所以也许你可以从源代码中做点什么。 【参考方案1】:您可以使用np.random.randint
喜欢:
import numpy as np
m = 4
n = 4
k = 5
X = np.random.randint(0,2,(m,n))
X
array([[1, 1, 1, 1],
[1, 0, 0, 1],
[1, 1, 0, 0],
[1, 1, 1, 1]])
y = np.random.randint(0,k,m)
y
array([3, 3, 0, 4])
【讨论】:
我试过了,但这有点太随意了。我需要为多类生成积分。就像一些点将代表一个类或组,它们应该彼此靠近。接近我的意思是欧几里得距离。例如。您正在使用此数据集测试 KNN 算法,但由于它不能正确表示类,因此您无法使用它。 我不明白你的要求,也许你可以澄清一下你期望什么样的输出。 类似in.mathworks.com/matlabcentral/mlc-downloads/downloads/…【参考方案2】:您可以使用 numpy 创建多类数据集,如下所示 -
def generate_dataset(size, classes=2, noise=0.5):
# Generate random datapoints
labels = np.random.randint(0, classes, size)
x = (np.random.rand(size) + labels) / classes
y = x + np.random.rand(size) * noise
# Reshape data in order to merge them
x = x.reshape(size, 1)
y = y.reshape(size, 1)
labels = labels.reshape(size, 1)
# Merge the data
data = np.hstack((x, y, labels))
return data
当使用 matplotlib 可视化时,生成的数据将如下所示 -
您可以使用classes
和noise
参数更改类数和数据分布。这里我保持了 x 轴和 y 轴值之间的线性关系,也可以根据需要进行更改。
【讨论】:
以上是关于如何使用 numpy 生成多类测试数据集?的主要内容,如果未能解决你的问题,请参考以下文章
如何在 Pytorch Lightning 中使用 numpy 数据集
[oldboy-django][2深入django]老师管理 -- form表单如何生成多选框标签,多选框的默认值显示,以及多选框数据插入到数据库,多选框数据更改到数据库