PyTorch Lightning auto_scale_batch_size='power' 不显示结果

Posted 2023-03-27

【中文标题】PyTorch Lightning auto_scale_batch_size=\'power\' 不显示结果

【英文标题】：PyTorch Lightning auto_scale_batch_size='power' does not show resultsPyTorch Lightning auto_scale_batch_size='power' 不显示结果

【发布时间】：2022-01-05 03:58:31

【问题描述】：

我是深度学习的新手，我正在将 existing project 转换为 Pytorch Lightning，紧随 this tutorial。

我想试试automatic batch size finder。所以我将请求的标志添加到Trainer：

trainer = pl.Trainer(default_root_dir=model_dir, 
                     auto_scale_batch_size='power')

还在模型的 init 方法中添加了一个batch_size 参数，然后与self.batch_size = batch_size 一起使用。

class MyModel(pl.LightningModule):
  def __init__(self, other params, batch_size)
     super().__init__()
     self.batch_size = batch_size

在train_dataloader我也用这个self.batch_size：

train_loader = DataLoader(self.dataset,
                             collate_fn=lambda batch: collate_synthesizer(batch, self.reduction_factor, self.hparams2),
                             batch_size=self.batch_size,
                             num_workers=self.num_workers if platform.system() != "Windows" else 0,
                             shuffle=True,
                             pin_memory=True)

但是训练过程在运行时并没有显示出关于 batch_size 的任何特殊发现。我在我的开发笔记本电脑（cpu 模式）和 colab（gpu）上尝试了它，但没有看到任何东西。

我应该等到流程结束还是错过了什么？

非常感谢

【参考方案1】：

我的错，我错过了后来在doc 中找到的视频中的一些内容。我打电话给trainer.fit(model) 而不是trainer.tune(model)。现在效果很好！