使用 Caffe 训练数据集时多次加载 HDF5 文件
Posted
技术标签:
【中文标题】使用 Caffe 训练数据集时多次加载 HDF5 文件【英文标题】：HDF5 file is loaded multiple times when training dataset using Caffe 【发布时间】：2018-02-08 03:12:46 【问题描述】：我正在使用 hdf5 文件训练数据集，日志显示 hdf5 文件已加载 3 次。我想知道这是为什么？
我使用4 GPUs进行培训
0830 10:51:06.050088 24335 hdf5_data_layer.cpp:79] Loading list of HDF5 filenames from: /train_h5_list.txt
I0830 10:51:06.055855 24336 hdf5_data_layer.cpp:79] Loading list of HDF5 filenames from: /train_h5_list.txt
I0830 10:51:06.066175 24335 hdf5_data_layer.cpp:93] Number of HDF5 files: 8259
I0830 10:51:06.071753 24336 hdf5_data_layer.cpp:93] Number of HDF5 files: 8259
I0830 10:51:06.878861 24337 hdf5_data_layer.cpp:79] Loading list of HDF5 filenames from: /train_h5_list.txt
I0830 10:51:06.900501 24337 hdf5_data_layer.cpp:93] Number of HDF5 files: 8259
【问题讨论】：
【参考方案1】：据我所知，如果您使用多个 GPUs，则每个 GPU 会多次加载 hdf5 文件！这可能会导致问题，我不建议在使用 hdf5 文件进行训练时使用多个 GPUs
【讨论】：
以上是关于使用 Caffe 训练数据集时多次加载 HDF5 文件的主要内容，如果未能解决你的问题，请参考以下文章