如何异步加载和训练批次以训练深度学习模型？

Posted 2023-03-29

【中文标题】如何异步加载和训练批次以训练深度学习模型？

【英文标题】：How to asynchronously load and train batches to train a DeepLearning model?

【发布时间】：2017-10-12 07:25:54

【问题描述】：

我有 3TB 数据集和 64GB RAM，以及一个 12 核 CPU 和一个 12GB GPU。想在这个数据集上训练一个深度学习模型。如何异步加载批次和训练模型？我想确保数据的磁盘负载不会阻止训练循环等待新批次加载到内存中。

我不依赖于语言，并且最简单的库可以做到这一点而没有摩擦，但我更喜欢 torch、pytorch、tensorflow 之一。

【问题讨论】：

我认为解决方案是在 Torch 中使用 IPC 和通道来跨多线程共享变量。写信：github.com/twitter/torch-ipc/blob/master/test/… 读信github.com/twitter/torch-ipc/blob/master/test/…

【参考方案1】：

我们使用 Keras（tensorflow 后端）以上述 @mo-hossny 的方式（不是“绑定到 Imagenet 文件夹结构”）解决了这个问题，并详细描述了 here。

对此的简要总结：大多数 ML 教程都显示了一个目录结构，其中训练（和测试）示例的类由子目录隐含。例如，您可能会看到 data/train/cats/???.png 和 data/train/dogs/???.png 等子目录和文件。

如果您创建一个简单的 Pandas DataFrame 来保存每个训练/测试样本的唯一 ID、类标签和文件路径，那么您可以在每个 epoch 开始时打乱这个 DataFrame，以小批量循环它并使用生成器将每个块发送到 GPU。在后台，CPU 保持块队列已满，等待其完成当前批处理后将每个后续块发送到 GPU。

这样的DataFrame的一个例子是：

df

       object_id   bi  multi                                    path
index                                                               
 0        461756  dog  white    /path/to/imgs/756/61/blah_461756.png
 1       1161756  cat  black   /path/to/imgs/756/61/blah_1161756.png
 2       3303651  dog  white   /path/to/imgs/651/03/blah_3303651.png
 3       3367756  dog   grey   /path/to/imgs/756/67/blah_3367756.png
 4       3767756  dog   grey   /path/to/imgs/756/67/blah_3767756.png
 5       5467756  cat  black   /path/to/imgs/756/67/blah_5467756.png
 6       5561756  dog  white   /path/to/imgs/756/61/blah_5561756.png
 7      31255756  cat   grey  /path/to/imgs/756/55/blah_31255756.png
 8      35903651  cat  black  /path/to/imgs/651/03/blah_35903651.png
 9      44603651  dog  black  /path/to/imgs/651/03/blah_44603651.png
10      49557622  cat  black  /path/to/imgs/622/57/blah_49557622.png
11      58164756  dog   grey  /path/to/imgs/756/64/blah_58164756.png
12      95403651  cat  white  /path/to/imgs/651/03/blah_95403651.png
13      95555756  dog   grey  /path/to/imgs/756/55/blah_95555756.png

我已经为问题的二项式和多项式版本添加了标签，这证明了相同的 DataFrame 和文件可以用于不同的分类设置。

完成此操作后，Keras 生成器代码将变得非常简短：

train_generator = generator_from_df(df, batch_size, target_size)

其中 df 类似于我上面的示例，并且函数 generator_from_df() 定义为 here。它只是以给定大小的块循环遍历df；读取、规范化和连接块行中指定的像素数据；最后产生（因此生成器）X（像素）和 Y（标签）数据。它的核心非常类似于：

i, j = 0, batch_size
for _ in range(nbatches):
    sub = df.iloc[i:j]
    X = np.array([
        (2 *
         (img_to_array(load_img(f, target_size=target_size))
          / 255.0 - 0.5))
        for f in sub.imgpath])
    Y = sub.target.values
    yield X, Y
    i = j
    j += batch_size
    count += 1

请注意帖子中的参考资料和代码：我们在 Keras 页面和 *** 上汇总了其他人的有用提示。

【参考方案2】：

如果您不想被 Imagenet 文件夹结构束缚，您几乎可以在每个框架中开发自己的数据加载器。 pytorch 示例代码可在https://***.com/a/45102798/7387369 获得。它在训练时加载下一批。将 num_workers 设置为并行运行的线程数。

【参考方案3】：

您是否尝试过任何可用的 Imagenet 代码？

张量流：https://github.com/tensorflow/models/tree/master/inception 火炬：https://github.com/soumith/imagenet-multiGPU.torch 火炬：https://github.com/pytorch/examples/tree/master/imagenet

准备指定格式的数据。

这些不是你要找的吗？

【讨论】：

我并不是特别在寻找 imagenet。而是一个通用平台，可以轻松适应各种模型。因为对于任何处理大型数据集的人来说，这基本上是一个类似的问题。