如何在google colab中有效地使用内存?
Posted
技术标签:
【中文标题】如何在google colab中有效地使用内存?【英文标题】:How to efficiently use memory in google colab? 【发布时间】:2021-12-14 13:40:35 【问题描述】:我目前正在 google colab 中训练一个视听模型。我正在使用“VoxCeleb”数据集。我正在尝试从数据集中提取帧以及音频,并将它们用作我的深度学习模型的输入。我的 colab 在训练时一直在崩溃。任何人都可以查看我的代码。我对深度学习和 colab 还很陌生,因此我们将不胜感激。
这是我的 colab 的链接 - https://colab.research.google.com/github/kaneelgit/msi_voxceleb/blob/main/Multimodal_classification.ipynb#scrollTo=AOF5ENJXocup
提前谢谢你!
【问题讨论】:
【参考方案1】:有600万个可训练参数;你不能在 colab/kaggle 中训练这么大的模型。根据我的经验,我在 colab 中运行了多达 100 万个参数。请降低您的模型复杂性,或者更好地使用预训练模型来对您的数据进行特征化,然后对其进行自定义以合并您的模型。
【讨论】:
以上是关于如何在google colab中有效地使用内存?的主要内容,如果未能解决你的问题,请参考以下文章
将 Google Colab 笔记本转换为 PDF/HTML?
如何有效地从 jupyter 或 colab 中的数据帧复制输出并以漂亮/可读的格式粘贴到 ***
在 VM 引擎中导入 google.colab 不会让我在 Google Colab 中运行 Jupyter Notebook?