迁移学习 - 尝试在 RTX 2070 上重新训练efficientnet-B07 内存不足

Posted 2023-03-16

【中文标题】迁移学习 - 尝试在 RTX 2070 上重新训练efficientnet-B07 内存不足

【英文标题】：transfer learning - trying to retrain efficientnet-B07 on RTX 2070 out of memory

【发布时间】：2020-03-12 20:38:18

【问题描述】：

这是我在尝试64gb ram CPU 时尝试运行的训练代码 迷恋RTX 2070

config = tf.ConfigProto()
config.gpu_options.per_process_gpu_memory_fraction = 0.7
tf.keras.backend.set_session(tf.Session(config=config))

model = efn.EfficientNetB7()
model.summary()

# create new output layer
output_layer = Dense(5, activation='sigmoid', name="retrain_output")(model.get_layer('top_dropout').output)
new_model = Model(model.input, output=output_layer)
new_model.summary()
# lock previous weights

for i, l in enumerate(new_model.layers):
    if i < 228:
        l.trainable = False
# lock probs weights

new_model.compile(loss='mean_squared_error', optimizer='adam')

batch_size = 5
samples_per_epoch = 30
epochs = 20

# generate train data
train_datagen = ImageDataGenerator(
    shear_range=0.2,
    zoom_range=0.2,
    horizontal_flip=True,
    validation_split=0)

train_generator = train_datagen.flow_from_directory(
    train_data_input_folder,
    target_size=(input_dim, input_dim),
    batch_size=batch_size,
    class_mode='categorical',
    seed=2019,
    subset='training')

validation_generator = train_datagen.flow_from_directory(
    validation_data_input_folder,
    target_size=(input_dim, input_dim),
    batch_size=batch_size,
    class_mode='categorical',
    seed=2019,
    subset='validation')

new_model.fit_generator(
    train_generator,
    samples_per_epoch=samples_per_epoch,
    epochs=epochs,
    validation_steps=20,
    validation_data=validation_generator,
    nb_worker=24)

new_model.save(model_output_path)



exception:

2019-11-17 08:52:52.903583: 我 tensorflow/stream_executor/dso_loader.cc:152]成功打开CUDA 本地库 libcublas.so.10.0 ..... 2019-11-17 08:53:24.713020: 我 tensorflow/core/common_runtime/bfc_allocator.cc:641] 110 块 大小 27724800 总计 2.84GiB 2019-11-17 08:53:24.713024: I tensorflow/core/common_runtime/bfc_allocator.cc:641] 6 块大小 38814720 总计 222.10MiB 2019-11-17 08:53:24.713027: 我 tensorflow/core/common_runtime/bfc_allocator.cc:641] 23 块大小 54000128 总计 1.16GiB 2019-11-17 08:53:24.713031: I tensorflow/core/common_runtime/bfc_allocator.cc:641] 1 块大小 73760000 总计 70.34MiB 2019-11-17 08:53:24.713034: I tensorflow/core/common_runtime/bfc_allocator.cc:645] 总和 正在使用的块：5.45GiB 2019-11-17 08:53:24.713040: I tensorflow/core/common_runtime/bfc_allocator.cc:647] 统计数据：限制： 5856749158 使用中：5848048896 最大使用中：5848061440 NumAllocs：6140 MaxAllocSize: 3259170816

2019-11-17 08:53:24.713214: W 张量流/核心/common_runtime/bfc_allocator.cc:271] ****************************************************** ****************************************************** 2019-11-17 08:53:24.713232: W tensorflow/core/framework/op_kernel.cc:1401] OP_REQUIRES 失败于 cwise_ops_common.cc:70：资源耗尽：分配时OOM 形状为 [5,1344,38,38] 且类型为 float on 的张量 /job:localhost/replica:0/task:0/device:GPU:0 分配器 GPU_0_bfc Traceback（最近一次通话最后一次）：文件 “/home/naort/Desktop/deep-learning-data-preparation-tools/EfficientNet-Transfer-Learning-Boiler-Plate/model_retrain.py”， 第 76 行，在 nb_worker=24) 文件中 “/usr/local/lib/python3.6/dist-packages/keras/legacy/interfaces.py”， 第 91 行，在包装器中返回 func(*args, **kwargs) 文件 “/usr/local/lib/python3.6/dist-packages/keras/engine/training.py”， 第 1732 行，在 fit_generator initial_epoch=initial_epoch) 文件中 “/usr/local/lib/python3.6/dist-packages/keras/engine/training_generator.py”， 第 220 行，在 fit_generator reset_metrics=False) 文件中 “/usr/local/lib/python3.6/dist-packages/keras/engine/training.py”， 第 1514 行，在 train_on_batch 输出 = self.train_function(ins) 文件中 “/home/naort/.local/lib/python3.6/site-packages/tensorflow/python/keras/backend.py”， 第 3076 行，调用 run_metadata=self.run_metadata) 文件 "/home/naort/.local/lib/python3.6/site-packages/tensorflow/python/client/session.py", 第 1439 行，调用 run_metadata_ptr) 文件 "/home/naort/.local/lib/python3.6/site-packages/tensorflow/python/framework/errors_impl.py", 第 528 行，在退出 c_api.TF_GetCode(self.status.status)) tensorflow.python.framework.errors_impl.ResourceExhaustedError：OOM 当使用 shape[5,1344,38,38] 分配张量并键入 float on /job:localhost/replica:0/task:0/device:GPU:0 分配器 GPU_0_bfc [[节点 训练/亚当/梯度/AddN_387-0-TransposeNHWCToNCHW-LayoutOptimizer]] 提示：如果您想在 OOM 发生时查看已分配张量的列表， 将 report_tensor_allocations_upon_oom 添加到 RunOptions 以获取当前 分配信息。

[[node Mean]] 提示：如果你想查看已分配张量的列表 当 OOM 发生时，将 report_tensor_allocations_upon_oom 添加到 RunOptions 获取当前分配信息。

【参考方案1】：

尽管 EfficientNet 模型的参数计数低于比较 ResNe(X)t 模型，但它们仍然消耗大量 GPU 内存。您看到的是 GPU 内存不足错误（RTX 2070 为 8GB），而不是系统（64GB）。

B7 模型（尤其是全分辨率）超出了您希望使用单个 RTX 2070 卡进行训练的能力。即使冻结了很多层。

在 FP16 中运行模型可能会有所帮助，这也将利用 RTX 卡的 TensorCore。来自https://medium.com/@noel_kennedy/how-to-use-half-precision-float16-when-training-on-rtx-cards-with-tensorflow-keras-d4033d59f9e4，试试这个：

import keras.backend as K

dtype='float16'
K.set_floatx(dtype)

# default is 1e-7 which is too small for float16.  Without adjusting the epsilon, we will get NaN predictions because of divide by zero problems
K.set_epsilon(1e-4) 

【讨论】：

这应该有助于降低精度tensorflow.org/guide/mixed_precision。我在 EfficientNetB3 上遇到了同样的问题，并且在 (512, 224,224,3) 的批次中使用 40gb ram 的 gpu，尽管我已经设法在具有 2 倍以上参数的 ResNet50 上使用相同的批次。我希望能够将批次改进 2 次，而不是减少一半，因为它是一个更窄的模型。