为啥该代码段无法在 Google Colab 上运行？

Posted 2023-02-23

【中文标题】为啥该代码段无法在 Google Colab 上运行？

【英文标题】：Why that code snippet could not run at Google Colab?为什么该代码段无法在 Google Colab 上运行？

【发布时间】：2020-04-12 07:16:07

【问题描述】：

我使用提供 35 GB RAM 的 TPU。在我尝试运行此代码 sn-p 之前，我有 20 GB 的可用 RAM。但我无法运行该代码 sn-p，因为内存低（它说需要超过 35 GB）我使用了 6 GB 数据集。为什么这段代码占据了这么多地方？我使用了垃圾收集器并删除了我之前使用的数据框。我该怎么做才能使该代码正常工作？

Gen RAM 免费：26.4 GB |进程大小：156.4 MB GPU RAM 免费：16280MB |已使用：0MB |使用率 0% |总计 16280MB

seed = 7
test_size = 0.4
X_train, X_test, y_train, y_test = train_test_split(X, Y, test_size=test_size)
gc.collect()
model=KNeighborsClassifier(n_neighbors=6,algorithm='kd_tree',n_jobs=25)
model.fit(X_train, y_train)

【问题讨论】：

***.com/questions/48750199/…

评论对我不起作用，colab 不会询问我是否需要更多内存。

【参考方案1】：

Python 中的数据科学工作流往往会占用大量内存。比如你的输入数据X, Y消耗了6GB，那么行

X_train, X_test, y_train, y_test = train_test_split(X, Y, test_size=test_size)

将消耗另外 6 GB（每个创建的子集不是原始数组的视图，而是具有新内存占用的新数组对象）。

在KNeighborsClassifier 内部可能会制作其他数据副本（例如，该算法中的代码要求输入数组是连续的 C 顺序 float64 数组，如果您的数据不符合该标准，则会制作副本） .

一般来说，基于 numpy 的数据科学工作流程的一个好的经验法则是，您需要大约 4-5 倍于您正在处理的原始数据大小的内存，除非您非常小心防止数据复制。