使用 model_main.py 进行训练对象检测失败并出现 Windows 致命异常：访问冲突

Posted 2023-03-15

技术标签:

【中文标题】使用 model_main.py 进行训练对象检测失败并出现 Windows 致命异常：访问冲突【英文标题】：Training object detection with model_main.py fails with Windows fatal exception: access violation 【发布时间】：2020-06-19 21:37:00 【问题描述】：

我正在尝试使用 model_main.py 文件训练对象检测模型。我可以在 ubuntu 环境下毫无问题地训练它，但现在赢了 10（因为我在那台 PC 上有 GeForece 1080Ti），现在我遇到了麻烦。训练可以开始并且做得很好，直到出现这些错误的第一个检查点（我也可以重新启动并从上一个检查点继续训练，但在保存下一个检查点后再次失败......）：

所以从 ...\models-master\research\object_detection 文件夹运行此命令

python model_main.py --model_dir=training --pipeline_config_path=training/faster_rcnn_inception_v2_pets.config -–num_train_steps=20000 --sample_1_of_n_eval_examples=2 --alsologtostderr

产生这个：

INFO:tensorflow:将 46040 的检查点保存到 training\model.ckpt。 I0307 10:01:21.055022 8112 basic_session_run_hooks.py:606] 将 46040 的检查点保存到 training\model.ckpt。警告：tensorflow：来自 C:\Users\Zsetszko21\Anaconda3\envs\tf_env_Ti\lib\site-packages\tensorflow\python\training\saver.py:960：remove_checkpoint（来自 tensorflow.python.training.checkpoint_management）已弃用并且将在未来的版本中删除。更新说明：使用标准文件 API 删除带有此前缀的文件。 W0307 10:01:22.363223 8112 deprecation.py:323] 来自 C:\Users\Zsetszko21\Anaconda3\envs\tf_env_Ti\lib\site-packages\tensorflow\python\training\saver.py:960：remove_checkpoint（来自 tensorflow。 python.training.checkpoint_management) 已弃用，将在未来版本中删除。更新说明：使用标准文件 API 删除带有此前缀的文件。 Windows 致命异常：访问冲突

线程 0x000023b4（最近调用优先）：文件“C:\Users\Zsetszko21\Anaconda3\envs\tf_env_Ti\lib\threading.py”，第 296 行等待文件“C:\Users\Zsetszko21\Anaconda3\envs\tf_env_Ti\lib\queue.py”，第 170 行文件“C:\Users\Zsetszko21\Anaconda3\envs\tf_env_Ti\lib\site-packages\tensorflow\python\summary\writer\event_file_writer.py”，运行中的第 159 行文件“C:\Users\Zsetszko21\Anaconda3\envs\tf_env_Ti\lib\threading.py”，_bootstrap_inner 中的第 926 行文件“C:\Users\Zsetszko21\Anaconda3\envs\tf_env_Ti\lib\threading.py”，_bootstrap 中的第 890 行

当前线程 0x00001fb0（最近的调用优先）：文件“C:\Users\Zsetszko21\Anaconda3\envs\tf_env_Ti\lib\site-packages\tensorflow\python\lib\io\file_io.py”，_preread_check 中的第 84 行文件“C:\Users\Zsetszko21\Anaconda3\envs\tf_env_Ti\lib\site-packages\tensorflow\python\lib\io\file_io.py”，第 122 行读取文件“C:\Users\Zsetszko21\Anaconda3\envs\tf_env_Ti\lib\site-packages\object_detection-0.1-py3.7.egg\object_detection\utils\label_map_util.py”，第 139 行 load_labelmap 文件“C:\Users\Zsetszko21\Anaconda3\envs\tf_env_Ti\lib\site-packages\object_detection-0.1-py3.7.egg\object_detection\utils\label_map_util.py”，get_label_map_dict 中的第 172 行文件“C:\Users\Zsetszko21\Anaconda3\envs\tf_env_Ti\lib\site-packages\object_detection-0.1-py3.7.egg\object_detection\data_decoders\tf_example_decoder.py”，init中的第 64 行> 文件“C:\Users\Zsetszko21\Anaconda3\envs\tf_env_Ti\lib\site-packages\object_detection-0.1-py3.7.egg\object_detection\data_decoders\tf_example_decoder.py”，init中的第 319 行> 文件“C:\Users\Zsetszko21\Anaconda3\envs\tf_env_Ti\lib\site-packages\object_detection-0.1-py3.7.egg\object_detection\builders\dataset_builder.py”，构建中的第 130 行文件“C:\Users\Zsetszko21\Anaconda3\envs\tf_env_Ti\lib\site-packages\object_detection-0.1-py3.7.egg\object_detection\inputs.py”，eval_input 中的第 725 行文件“C:\Users\Zsetszko21\Anaconda3\envs\tf_env_Ti\lib\site-packages\object_detection-0.1-py3.7.egg\object_detection\inputs.py”，_eval_input_fn 中的第 625 行文件“C:\Users\Zsetszko21\Anaconda3\envs\tf_env_Ti\lib\site-packages\tensorflow_estimator\python\estimator\estimator.py”，_call_input_fn 中的第 1113 行文件“C:\Users\Zsetszko21\Anaconda3\envs\tf_env_Ti\lib\site-packages\tensorflow_estimator\python\estimator\estimator.py”，_get_features_and_labels_from_input_fn 中的第 1022 行文件“C:\Users\Zsetszko21\Anaconda3\envs\tf_env_Ti\lib\site-packages\tensorflow_estimator\python\estimator\estimator.py”，_call_model_fn_eval 中的第 1534 行文件“C:\Users\Zsetszko21\Anaconda3\envs\tf_env_Ti\lib\site-packages\tensorflow_estimator\python\estimator\estimator.py”，_evaluate_build_graph 中的第 1501 行文件“C:\Users\Zsetszko21\Anaconda3\envs\tf_env_Ti\lib\site-packages\tensorflow_estimator\python\estimator\estimator.py”，_evaluate 中的第 501 行文件“C:\Users\Zsetszko21\Anaconda3\envs\tf_env_Ti\lib\site-packages\tensorflow_estimator\python\estimator\estimator.py”，_actual_eval 中的第 519 行文件“C:\Users\Zsetszko21\Anaconda3\envs\tf_env_Ti\lib\site-packages\tensorflow_estimator\python\estimator\estimator.py”，评估中的第 477 行文件“C:\Users\Zsetszko21\Anaconda3\envs\tf_env_Ti\lib\site-packages\tensorflow_estimator\python\estimator\training.py”，evaluate_and_export 中的第 920 行文件“C:\Users\Zsetszko21\Anaconda3\envs\tf_env_Ti\lib\site-packages\tensorflow_estimator\python\estimator\training.py”，_evaluate 中的第 539 行文件“C:\Users\Zsetszko21\Anaconda3\envs\tf_env_Ti\lib\site-packages\tensorflow_estimator\python\estimator\training.py”，after_save 中的第 519 行文件“C:\Users\Zsetszko21\Anaconda3\envs\tf_env_Ti\lib\site-packages\tensorflow\python\training\basic_session_run_hooks.py”，_save 中的第 619 行文件“C:\Users\Zsetszko21\Anaconda3\envs\tf_env_Ti\lib\site-packages\tensorflow\python\training\basic_session_run_hooks.py”，after_run 中的第 594 行文件“C:\Users\Zsetszko21\Anaconda3\envs\tf_env_Ti\lib\site-packages\tensorflow\python\training\monitored_session.py”，运行中的第 1419 行文件“C:\Users\Zsetszko21\Anaconda3\envs\tf_env_Ti\lib\site-packages\tensorflow\python\training\monitored_session.py”，运行中的第 1338 行文件“C:\Users\Zsetszko21\Anaconda3\envs\tf_env_Ti\lib\site-packages\tensorflow\python\training\monitored_session.py”，运行中的第 1252 行文件“C:\Users\Zsetszko21\Anaconda3\envs\tf_env_Ti\lib\site-packages\tensorflow\python\training\monitored_session.py”，运行中的第 754 行文件“C:\Users\Zsetszko21\Anaconda3\envs\tf_env_Ti\lib\site-packages\tensorflow_estimator\python\estimator\estimator.py”，_train_with_estimator_spec 中的第 1484 行文件“C:\Users\Zsetszko21\Anaconda3\envs\tf_env_Ti\lib\site-packages\tensorflow_estimator\python\estimator\estimator.py”，_train_model_default 中的第 1192 行文件“C:\Users\Zsetszko21\Anaconda3\envs\tf_env_Ti\lib\site-packages\tensorflow_estimator\python\estimator\estimator.py”，_train_model 中的第 1158 行文件“C:\Users\Zsetszko21\Anaconda3\envs\tf_env_Ti\lib\site-packages\tensorflow_estimator\python\estimator\estimator.py”，火车中的第 367 行文件“C:\Users\Zsetszko21\Anaconda3\envs\tf_env_Ti\lib\site-packages\tensorflow_estimator\python\estimator\training.py”，run_local 中的第 714 行文件“C:\Users\Zsetszko21\Anaconda3\envs\tf_env_Ti\lib\site-packages\tensorflow_estimator\python\estimator\training.py”，运行中的第 613 行文件“C:\Users\Zsetszko21\Anaconda3\envs\tf_env_Ti\lib\site-packages\tensorflow_estimator\python\estimator\training.py”，train_and_evaluate 中的第 473 行文件“model_main.py”，main 中的第 109 行文件“C:\Users\Zsetszko21\Anaconda3\envs\tf_env_Ti\lib\site-packages\absl\app.py”，_run_main 中的第 250 行文件“C:\Users\Zsetszko21\Anaconda3\envs\tf_env_Ti\lib\site-packages\absl\app.py”，运行中的第 299 行文件“C:\Users\Zsetszko21\Anaconda3\envs\tf_env_Ti\lib\site-packages\tensorflow\python\platform\app.py”，运行中的第 40 行文件“model_main.py”，第 113 行 (tf_env_Ti) PS A:\PPEVision\trainer\models-master\research\object_detection>

我的配置文件：

# Faster R-CNN with Inception v2, configured for Oxford-IIIT Pets Dataset.
# Users should configure the fine_tune_checkpoint field in the train config as
# well as the label_map_path and input_path fields in the train_input_reader and
# eval_input_reader. Search for "PATH_TO_BE_CONFIGURED" to find the fields that
# should be configured.

model 
  faster_rcnn 
    num_classes: 2
    image_resizer 
      keep_aspect_ratio_resizer 
        min_dimension: 600
        max_dimension: 1024
      
    
    feature_extractor 
      type: 'faster_rcnn_inception_v2'
      first_stage_features_stride: 16
    
    first_stage_anchor_generator 
      grid_anchor_generator 
        scales: [0.25, 0.5, 1.0, 2.0]
        aspect_ratios: [0.5, 1.0, 2.0]
        height_stride: 16
        width_stride: 16
      
    
    first_stage_box_predictor_conv_hyperparams 
      op: CONV
      regularizer 
        l2_regularizer 
          weight: 0.0
        
      
      initializer 
        truncated_normal_initializer 
          stddev: 0.01
        
      
    
    first_stage_nms_score_threshold: 0.0
    first_stage_nms_iou_threshold: 0.7
    first_stage_max_proposals: 300
    first_stage_localization_loss_weight: 2.0
    first_stage_objectness_loss_weight: 1.0
    initial_crop_size: 14
    maxpool_kernel_size: 2
    maxpool_stride: 2
    second_stage_box_predictor 
      mask_rcnn_box_predictor 
        use_dropout: true
        dropout_keep_probability: 0.95
        fc_hyperparams 
          op: FC
          regularizer 
            l2_regularizer 
              weight: 0.0
            
          
          initializer 
            variance_scaling_initializer 
              factor: 1.0
              uniform: true
              mode: FAN_AVG
            
          
        
      
    
    second_stage_post_processing 
      batch_non_max_suppression 
        score_threshold: 0.0
        iou_threshold: 0.6
        max_detections_per_class: 100
        max_total_detections: 300
      
      score_converter: SOFTMAX
    
    second_stage_localization_loss_weight: 2.0
    second_stage_classification_loss_weight: 1.0
  


train_config: 
  batch_size: 1
  optimizer 
    momentum_optimizer: 
      learning_rate: 
          exponential_decay_learning_rate 
          initial_learning_rate: 0.00200000018999
          decay_steps: 1000
          decay_factor: 0.989999988079
        
        #manual_step_learning_rate 
        #  initial_learning_rate: 0.0002
        #  schedule 
        #    step: 100000
        #    learning_rate: .002
        #  

        #

      
      momentum_optimizer_value: 0.9
    
    use_moving_average: false
  
  gradient_clipping_by_norm: 10.0
  fine_tune_checkpoint:  "A:\\PPEVision\\trainer\\models-master\\research\\object_detection\\faster_rcnn_inception_v2_coco_2018_01_28\\model.ckpt"
  from_detection_checkpoint: true
  load_all_detection_checkpoint_vars: true
  # Note: The below line limits the training process to 200K steps, which we
  # empirically found to be sufficient enough to train the pets dataset. This
  # effectively bypasses the learning rate schedule (the learning rate will
  # never decay). Remove the below line to train indefinitely.
  num_steps: 200000
  data_augmentation_options 
    random_horizontal_flip 
    
  



train_input_reader: 
  tf_record_input_reader 
    input_path: "A:\\PPEVision\\trainer\\models-master\\research\\object_detection\\train.record"
  
  label_map_path: "A:\\PPEVision\\trainer\\models-master\\research\\object_detection\\training\\labelmap.pbtxt"


eval_config: 
  metrics_set: "coco_detection_metrics"
  num_examples: 1000
  num_visualizations: 1000
  visualization_export_dir: "A:\\PPEVision\\trainer\\models-master\\research\\object_detection\\eval"
  eval_interval_secs: 120


eval_input_reader: 
  tf_record_input_reader 
    input_path: "A:\\PPEVision\\trainer\\models-master\\research\\object_detection\\test.record"
  
  label_map_path: "A:\\PPEVision\\trainer\\models-master\\research\\object_detection\\labelmap.pbtxt"
  shuffle: true
  num_readers: 1

我还添加了这些行以防止对 model_main.py 的任何 OOM：

  session_config = tf.ConfigProto()
  session_config.gpu_options.per_process_gpu_memory_fraction = 0.7    # replace this field with whichever real number you prefer
                                                                    # also gives a workaround to specify RAM usage
  config = tf.estimator.RunConfig(model_dir=FLAGS.model_dir, session_config=session_config)

我的规格：

【问题讨论】：

【参考方案1】：

我遇到了类似的问题，看来我不得不用 label_map.pbtxt.txt 替换它而不是 label_map.pbtxt。另外，也许将 \ 替换为 /。

【讨论】：

以上是关于使用 model_main.py 进行训练对象检测失败并出现 Windows 致命异常：访问冲突的主要内容，如果未能解决你的问题，请参考以下文章

Tensorflow 对象检测 API 数据增强边界框

使用重新训练的 Tensorflow 对象检测模型使用 snpe 进行 pb 到 dlc 转换失败

对象检测训练在时间上变得更慢。随着训练的进行，使用比 GPU 更多的 CPU

使用TensorFlow Object Detection API确定最大批量大小

人工智能神经网络不训练检测模型，如何进行对象的检测与追踪？

如何对经过训练的目标检测模型进行剪枝？