Pytorch IO提速

Posted 2021-12-09 king-lps

1. 把内存变成硬盘，把需要读的数据塞到里面去，加快了io。

如何给你PyTorch里的Dataloader打鸡血

轻轻松松为你的Linux系统创建RAM Disk

把内存当硬盘，提速你的linux系统

Linux创建使用内存硬盘（RAM DISK）

 

2. 使用英伟达的 NVIDIA/DALI 模块

A library containing both highly optimized building blocks and an execution engine for data pre-processing in deep learning applications

Pytorch_example

 

3. 使用英伟达的 NVIDIA/apex 模块