如何加快 caffe 中的图像加载速度？

Posted 2023-03-13

【中文标题】如何加快 caffe 中的图像加载速度？

【英文标题】：how to speed up image loading in caffe?

【发布时间】：2016-11-20 07:37:05

【问题描述】：

在使用 caffe 训练 CNN 时，在打印出的每次迭代之间，我会收到 3 到 5 次重复以下警告：

blocking_queue.cpp:50] Waiting for data

我使用默认的 caffe 设置，因为我使用提供的脚本创建了一个 lmdb 数据库。图片为 200x200px tif，加载到 lmdb 前大约 30-50kB。

我应该如何诊断减速的位置？ IE。硬件链的哪一部分需要升级，或者我可以用软件做什么来加快处理速度。我正在使用 CUDA 7.5.18 版的 GeForce GTX 980 GPU。

【问题讨论】：

lmdb 数据集是否可能存储在网络驱动器上？您可能会遇到网络连接速度慢的问题吗？

lmdb 文件存储在直接访问的本地驱动器上，即三星 SSD SM87

【参考方案1】：

这可能是您的 I/O 链有问题。您是否有应用程序来监控设备的 I/O 功能？是否在“等待数据”的同时响应慢？

一种可能的解决方法是增加批量大小：一次读取更多数据将使您的模型更忙，并为 I/O 例程提供更多时间来获取下一个数据块。

【讨论】：

如何监控他们的 I/O 能力？有没有办法控制 Caffe 中数据的预取？

您正在寻求场外工具和教程帮助 - 范围太广，特别是 Stack Overflow 的主题外。