Pytorch学习笔记(9) 通过DataSet、DatasetLoader构建模型输入数据集

Posted 2023-03-14

参考技术A 如何将我们准备好的数据放入模型中呢？ Pytorch 给出的答案都在 torch.utils.data 包中。

这个模块中方法并不多，所以让我们先全部列出来看看，看看名字猜猜功能。

一般情况下，使用Dataset和DatasetLoader两个类已经可以完成大部分的数据导入。首先来看Dataset类。
在此对象中，必须重写以下两个方法。

接下来看DataLoader 类

关键的几个参数:

看看实例:
想到sklearn中提供了一些小数据集，使用鸢尾花(iris)的数据集：

数据集就构架完成了，大家也可以通过DataFrame来处理数据。
然后结合DataLoader使用：

pytorch 中 random_split可以将实现sklearn 的 train_test_split类似的功能，大家可能注意到了，在上面的例子中只有训练数据，一般还需要有test set和valid set。
那么我们用random_split来划分数据集吧：

到这里就已经分好了，不过还是建议先通过其他方法提前分好。为了使每次结果都相同，可以设置好seed。