使用大于 RAM 的数据集训练 Spacy 模型

Posted 2023-02-19

【中文标题】使用大于 RAM 的数据集训练 Spacy 模型

【英文标题】：Train Spacy model with larger-than-RAM dataset

【发布时间】：2022-01-21 14:09:46

【问题描述】：

我要求this question 更好地了解使用序列化到磁盘的DocBins 训练Spacy 模型与通过自定义数据加载功能加载Example 实例之间的一些细微差别。目标是训练一个 Spacy NER 模型，其中包含更多可以放入 RAM 的数据（或至少以某种方式避免将整个文件加载到 RAM 中）。尽管自定义数据加载器似乎是完成此任务的一种特定方式，但我写这个问题是为了更笼统地问：

如何在训练期间不加载整个训练数据集文件的情况下训练 Spacy 模型？

【参考方案1】：

您唯一的选择是使用自定义数据加载器或设置max_epochs = -1。见the docs。

【讨论】：

谢谢，@polm23。文档说：-1 means stream train corpus [] rather than loading in memory with no shuffling within the training loop. 会设置设置max_epochs = -1 并使用.spacy 文件（或许多.spacy 文件）在没有自定义数据加载器的情况下流式传输训练数据吗？

是的，它将流式传输数据。