如何使用 scikit-learn 创建我自己的数据集？

Posted 2023-03-12

【中文标题】如何使用 scikit-learn 创建我自己的数据集？

【英文标题】：How to create my own datasets using in scikit-learn?

【发布时间】：2017-07-14 22:39:03

【问题描述】：

我想创建自己的数据集，并在 scikit-learn 中使用它。 Scikit-learn 有一些数据集，如“波士顿住房数据集”（.csv），用户可以通过以下方式使用它：

from sklearn import datasets 
boston = datasets.load_boston()

下面的代码可以得到这个数据集的data和target：

X = boston.data
y = boston.target

问题是如何创建我自己的数据集并以这种方式使用？ 感谢任何答案，谢谢！

【问题讨论】：

你有数据吗？喜欢 csv 或 text 或类似的东西？

请澄清：您想使用自己的数据，您希望其他人能够使用您的数据，还是您想创建人工数据？

@Vivek Kumar，是的，我之前在Demo.csv中创建了一个小数据集，现在我只是想我应该创建两个.csv文件夹来分别存储数据和目标吗？

@kazemakase，你好，误会了，我想使用我自己从一些实验中收集的数据。

好的。你想用这些数据做什么......执行机器学习？哪种？

【参考方案1】：

这是实现您想要的快速而肮脏的方法：

my_datasets.py

import numpy as np
import csv
from sklearn.utils import Bunch

def load_my_fancy_dataset():
    with open(r'my_fancy_dataset.csv') as csv_file:
        data_reader = csv.reader(csv_file)
        feature_names = next(data_reader)[:-1]
        data = []
        target = []
        for row in data_reader:
            features = row[:-1]
            label = row[-1]
            data.append([float(num) for num in features])
            target.append(int(label))
        
        data = np.array(data)
        target = np.array(target)
    return Bunch(data=data, target=target, feature_names=feature_names)

my_fancy_dataset.csv

feature_1,feature_2,feature_3,class_label
5.9,1203,0.69,2
7.2,902,0.52,0
6.3,143,0.44,1
-2.6,291,0.15,1
1.8,486,0.37,0

演示

In [12]: import my_datasets

In [13]: mfd = my_datasets.load_my_fancy_dataset()

In [14]: X = mfd.data

In [15]: y = mfd.target

In [16]: X
Out[16]: 
array([[ 5.900e+00,  1.203e+03,  6.900e-01],
       [ 7.200e+00,  9.020e+02,  5.200e-01],
       [ 6.300e+00,  1.430e+02,  4.400e-01],
       [-2.600e+00,  2.910e+02,  1.500e-01],
       [ 1.800e+00,  4.860e+02,  3.700e-01]])

In [17]: y
Out[17]: array([2, 0, 1, 1, 0])

In [18]: mfd.feature_names
Out[18]: ['feature_1', 'feature_2', 'feature_3']

【参考方案2】：

假设您将数据作为 2D 数组加载到内存中，OneHotEncoder 有一种简单的方法可以做到这一点：

from sklearn import svm
from sklearn.preprocessing import OneHotEncoder

data = [['Male', 1, True], ['Female', 3, True], ['Female', 2, False], ['Male', 2, False]]
y = [0, 1, 1, 1]  # expected outputs
enc = OneHotEncoder(drop='if_binary')  # create encoder obj that drops unneeded columns on binary inputs
X = enc.fit_transform(data).toarray()  # vectorize input data
clf = svm.SVC(gamma=0.001, C=100.)  # create classifier obj
clf.fit(X[:-1], y[:-1])  # fit model using training data (all but last entry)

out = clf.predict(X[-1:])  # resulting prediction (last entry only)