基于HDF5的高维数据有效

Posted 2020-10-14 法师漂流

代码：

https://github.com/JiJingYu/concat_dataset

Demo特点

该代码基于自行编写的H5Imageset类与pytorch中的ConcatDataset接口，主要有以下特点：

1. 有效利用了hdf5读取数据时直接与硬盘交互，无需载入整个数据集到内存中的优势，降低内存开销。

2. 重载了python内置的__getitem__()方法，使得数据动态生成，无需独立保存数据，降低磁盘开销。

3. 利用pytorch内置的ConcatDataset类，高效合并多组H5Imageset数据集，统一调用，统一索引。

使用场景

该代码通常用于高维数据，如光场图像（4维），高光谱图像（3维），该类数据有数据量大，处理速度有限等特点。 传统的直接处理数据集、直接生成数据集、保存数据集的方法会使得数据量暴涨。例如ICVL数据集原始数据约30GB， patch=64， stride=16分割之后，数据集会暴涨至500GB，给磁盘、IO和内存带来巨大压力。 用该代码可在不增加磁盘占用，不损失数据集IO时间的前提下，对数据集做有效的预处理，如按patch分割等， 同时可以大幅度降低内存占用。

其他

由于空间有限，此处以少量RGB图像为例，简单展示demo用途。

made by 法师漂流