在 Google Colab 中拆分文件以进行训练和测试

Posted 2023-03-16

【中文标题】在 Google Colab 中拆分文件以进行训练和测试

【英文标题】：Split files for train and test in Google Colab

【发布时间】：2019-07-22 09:00:13

【问题描述】：

我已经在本地 jupyter notebook 上成功训练和测试了我的模型，但我想在 Google Colab 中尝试相同的代码，因为我想尝试其他昂贵的 CNN 模型。 有人可以帮我这里有什么问题。我已从我的 Google Drive 将我的文件上传到 Google Colab 环境中。在这里，我想从 100 个文件夹中拆分文件以进行训练和测试，但每次我收到没有这样的文件或目录的错误。

folder = 'sample_data/firmasSINTESISmanuscritas'
number_of_users = 100
count_of_users = 0
for dir in os.listdir(folder):
print(dir)
filenames = [
    #os.path.join(os.path.dirname(os.path.abspath(__file__)), folder+'\\'+dir, i) for i in os.listdir(folder+'\\'+dir)
    os.path.join(folder+'\\'+dir, i) for i in os.listdir(folder+'\\'+dir)
]
filenames = filenames[:-1]

labels = [filename.__contains__('c-') for filename in filenames]
labels = np.array(labels, dtype=bool).astype(int).tolist()

x_train, x_test, y_train, y_test = train_test_split(filenames, labels, test_size=0.3, random_state=42)

filenames_train = filenames_train + x_train
filenames_test = filenames_test + x_test
Y_train = Y_train + y_train
Y_test = Y_test + y_test

count_of_users += 1
if number_of_users <= count_of_users:
    break
print('end')

[Error][1]

【参考方案1】：

您是否已将您的谷歌驱动器安装到 colab 以访问这些文件？如果没有，请按照 this blog post中提到的命令进行操作。

【讨论】：

是的，我已经安装了它，并且我的数据集已从驱动器下载到工作空间。

可以分享一下你在colab中的目录结构吗？