PyTorch+sklearn划分训练集/验证集

Posted 2023-03-26

参考技术A

参数 n_splits 是将训练数据分成train/test对的组数，可根据需要进行设置，默认为10

参数 test_size 和t rain_size 是用来设置train/test对中train和test所占的比例。例如：
1.提供10个数据num进行训练和测试集划分
2.设置train_size=0.8 test_size=0.2
3.train_num=num train_size=8 test_num=num test_size=2
4.即10个数据，进行划分以后8个是训练数据，2个是测试数据
注 ：train_num≥2，test_num≥2 ;test_size+train_size可以小于1
参数 andom_state 控制是将样本随机打乱

1.其产生指定数量的独立的train/test数据集划分数据集划分成n组。
2.首先将样本随机打乱，然后根据设置参数划分出train/test对。
3.其创建的每一组划分将保证每组类比比例相同。即第一组训练数据类别比例为2:1，则后面每组类别都满足这个比例

记载一个数据增强方法: cutout
github地址： https://github.com/uoguelph-mlrg/Cutout
其思想也很简单，就是对训练图像进行随机遮挡，该方法激励神经网络在决策时能够更多考虑次要特征，而不是主要依赖于很少的主要特征，如下图所示：

该方法需要设置n_holes和length两个超参数，分别表示遮挡的补丁数量和遮挡方形补丁的长度。首先建立cutout对象，使用 call 来封装方法，使之可调用：

sklearn——train_test_split 随机划分训练集和测试集

sklearn——train_test_split 随机划分训练集和测试集

sklearn.model_selection.train_test_split随机划分训练集和测试集

官网文档：http://scikit-learn.org/stable/modules/generated/sklearn.model_selection.train_test_split.html

• 一般形式：

train_test_split是交叉验证中常用的函数，功能是从样本中随机的按比例选取train data和testdata，形式为：

X_train,X_test, y_train, y_test =

cross_validation.train_test_split(train_data,train_target,test_size=0.4, random_state=0)

• 参数解释：

train_data：所要划分的样本特征集

train_target：所要划分的样本结果

test_size：样本占比，如果是整数的话就是样本的数量

random_state：是随机数的种子。

随机数种子：其实就是该组随机数的编号，在需要重复试验的时候，保证得到一组一样的随机数。比如你每次都填1，其他参数一样的情况下你得到的随机数组是一样的。但填0或不填，每次都会不一样。

随机数的产生取决于种子，随机数和种子之间的关系遵从以下两个规则：

种子不同，产生不同的随机数；种子相同，即使实例不同也产生相同的随机数。