在 PyTorch Lightning 中实现预处理的位置（例如标记输入文本）

Posted 2023-03-27

【中文标题】在 PyTorch Lightning 中实现预处理的位置（例如标记输入文本）

【英文标题】：Where to implement pre-processing in PyTorch Lightning (e.g. tokenizing input text)

【发布时间】：2021-04-23 09:03:52

【问题描述】：

是否有约定在 PyTorch Lightning 中实现某种 predict() 方法，在使用 forward() 执行实际预测之前进行预处理？

在我的例子中，我有一个由嵌入层和几个全连接层组成的文本分类器。文本在传递到嵌入层之前需要进行标记。在训练和评估期间，LightningDataModule 的 setup() 方法可以完成这项工作。

现在，我想知道在生产期间进行推理的最佳做法是什么。我可以在我的LightningModule 中添加一个predict() 方法，在那里我可以编写与LightningDataModule.setup() 中相同的预处理代码。但是，当然，我不想复制代码。

在官方 PyTorch Lightning 文档中链接的 this community example 项目中，作者在 LightningModule 中定义了一个 prepare_sample() 函数，供他们的 predict() 函数使用，并且也传递给 LightningDataModule。

这是处理预处理的正确方法吗？另外，为什么LightningModule 中没有prepare_sample() 或predict()？对我来说，这似乎是一个常见的用例，例如：

model = load_model('data/model.ckpt')  # load pre-trained model, analyzes user reviews

user_input = input('Your movie review > ')

predicted_rating = model.predict(user_input)  # e.g. "I liked the movie pretty much." -> 4 stars

print('Predicted rating: %s/5 stars' % predicted_rating)

现在我想起来了，predict() 也应该像评估代码一样处理来自forward() 的结果，比如选择输出最高的类或选择输出大于某个阈值的所有类 - 有些更多不应重复的代码。

【参考方案1】：

如果代码应该用于生产，为什么要使用LightningModule？如果模型完成，您只需要从内存中加载模型并定义预处理步骤即可。

您引用的存储库已在 LightningModule 之上实现了 predict 和 prepare_sample。

在我看来，pytorch-lightning 是用于模型的训练和评估，而不是用于生产。在将模型发送到生产环境时，我们不想保留分析和调试，因此我们创建了一个精简版本，它只加载模型、预处理和预测。

Towardsdatascience 有一个小代码示例：https://towardsdatascience.com/how-to-deploy-pytorch-lightning-models-to-production-7e887d69109f

【讨论】：

好点，LightningModule、DataModule 等不应该投入生产。另外，很棒的链接。尽管如此，我通常也会在开发过程中实现一个提示以交互方式接受输入，以用于测试和演示目的。那里有一个指导方针会很高兴。

你的意思是像测试方法？否则，您可以在训练器完成训练后向模型发送一些数据。

Trainer.test()?有趣的想法。目前我只通过运行trainer.test(model, data_module) 将它用于我的最终评估。但是创建一个DataModule 其prepare_data() 将被调用为每个交互式预测似乎有点矫枉过正。当然，我可以将DataLoader 传递给trainer.test(model, data_loader)，但话又说回来，我必须复制预处理代码来为DataLoader 创建一个样本数据集。

向 test_dataloader 发送一些数据？当您调用 Trainer.test() 时，它将依次调用。替代发送自定义数据加载器太测试，它将使用它。

好吧，创建测试DataLoader 需要一个预处理数据集（DataSet 或List[]）。该预处理代码位于我的DataModule.prepare_data() 中，我从磁盘上的数据文件为我的DataLoaders 构建数据集。现在，我不想复制那个预处理代码。我真的很感激一个代码示例，但不幸的是，大多数示例只是复制代码或做一些我不喜欢的事情，就像问题中引用的示例一样。