将 pytorch 闪电与香草 pytorch 混合

Posted 2023-03-27

【中文标题】将 pytorch 闪电与香草 pytorch 混合

【英文标题】：Mix pytorch lightning with vanilla pytorch

【发布时间】：2021-09-22 08:09:39

【问题描述】：

我正在进行元学习研究，并正在使用learn2learn 提供的 MAML 优化。然而，作为基线之一，我想测试一种非元学习方法，即传统的训练+测试。

Due to the lightning's internal usage of optimizer it seems that it is difficult to make the MAML work with learn2learn in lightning，所以我不能在我的元学习设置中使用闪电，但是对于我的基线，我真的很喜欢使用闪电，因为它提供了许多方便的功能，比如开箱即用的 deepspeed 或 ddp。

这是我的问题，除了设置两个单独的文件夹/存储库之外，我如何将 vanilia pytorch（learn2learn）与 pytorch 闪电（基线）混合？最佳做法是什么？

谢谢！

【参考方案1】：

决定回答我的问题。所以我最终使用了火炬闪电的手动优化，以便我可以自定义optimization step。这将使两种方法都使用相同的框架，我认为比维护 2 个单独的 repos 更好。