Блог

Привет всем, я пытаюсь использовать API обнаружения объектов из Tensorflow. в настоящее время я использую

TF 2.2.0 и TF-GPU 2.2.0

RTX2080 cudatoolkit v10.1 CUDNN v7.6.5

я пытаюсь обучить модель ssd_mobilenet_v1_fpn_640x640_coco17_tpu-8 на моем собственном наборе данных.

при использовании model_main_tf2.py тренировка работала, но почему-то она всегда завершалась сбоем после 400 шагов. и хотя я добавляю эту строку with tf.device(tf.DeviceSpec(device_type="GPU", device_index=0)): , если открываю диспетчер задач, чтобы увидеть использование графического процессора, он всегда говорит 5% или меньше, а процессор — около 34% после сбоя, я всегда получаю ту же ошибку:

 INFO:tensorflow:Step 500 per-step time 0.531s loss=0.864
I0129 00:07:36.263110 12688 model_lib_v2.py:651] Step 500 per-step time 0.531s loss=0.864
2021-01-29 00:07:58.237349: E tensorflow/stream_executor/cuda/cuda_event.cc:29] Error polling for event status: failed to query event: CUDA_ERROR_UNKNOWN: unknown error
2021-01-29 00:07:58.258278: F tensorflow/core/common_runtime/gpu/gpu_event_mgr.cc:273] Unexpected Event status: 1
Fatal Python error: Aborted
 

есть идеи, почему это может произойти?

это происходит, когда ваша оперативная память заполняется, и для решения этой проблемы вам необходимо уменьшить количество

размер пакета в pipeline.config и повторите попытку снова

или тренируйтесь в Google Colab или увеличьте объем оперативной памяти.

С уважением.