Блог

Я пытаюсь использовать обучение передаче для обучения модели для обнаружения объектов для использования с Intel Neural Compute Stick 2 (NCS2)

Шаги пока.

1. Используя модель transfer learning train faster_rcnn_inception_v2_coco_2018_01_28 для моего пользовательского набора данных с использованием tensorflow 1.15 в Google COLAB.
2. Проверенная сохраненная модель tensorflow работает с opencv-python для обнаружения объектов с помощью tensorflow.saved_model.load
3. заморозьте модель и используйте команду openvino model optimizer, показанную ниже, чтобы создать IR .bin и .xml для использования с функцией dnn opencv-python.

 python mo_tf.py --input_model frozen_inference_graph.pb --tensorflow_object_detection_api_pipeline_config pipeline.config  --transformations_config extensions/front/tf/faster_rcnn_support_api_v1.15.json --reverse_input_channels --data_type FP16 --input_shape [1,600,600,3] --input image_tensor --output=detection_scores,detection_boxes,num_detections
  

выводите следующим образом

 Model Optimizer arguments:
Common parameters:
- Path to the Input Model:  frozen_inference_graph.pb
- Path for generated IR:    /.
- IR output name:   frozen_inference_graph
- Log level:    ERROR
- Batch:    Not specified, inherited from the model
- Input layers:     image_tensor
- Output layers:    detection_scores,detection_boxes,num_detections
- Input shapes:     [1,600,600,3]
- Mean values:  Not specified
- Scale values:     Not specified
- Scale factor:     Not specified
- Precision of IR:  FP16
- Enable fusing:    True
- Enable grouped convolutions fusing:   True
- Move mean values to preprocess section:   False
- Reverse input channels:   True

TensorFlow specific parameters:
- Input model in text protobuf format:  False
- Path to model dump for TensorBoard:   None
- List of shared libraries with TensorFlow custom layers implementation:    None
- Update the configuration file with input/output node names:   None
- Use configuration file used to generate the model with Object Detection API:  pipeline.config
- Use the config file:  None

Model Optimizer version:    
[ WARNING ] Model Optimizer removes pre-processing block of the model which resizes image
keeping aspect ratio. The Inference Engine does not support dynamic image size so the
Intermediate Representation file is generated with the input image size of a fixed size.
The Preprocessor block has been removed. Only nodes performing mean value subtraction and
scaling (if applicable) are kept.
The graph output nodes "num_detections", "detection_boxes", "detection_classes",
"detection_scores" have been replaced with a single layer of type "Detection Output".
Refer to IR catalogue in the documentation for information about this layer.

[ WARNING ]  Network has 2 inputs overall, but only 1 of them are suitable for input
channels reversing.
Suitable for input channel reversing inputs are 4-dimensional with 3 channels
All inputs: {'image_tensor': [1, 3, 600, 600], 'image_info': [1, 3]}
Suitable inputs {'image_tensor': [1, 3, 600, 600]}

[ SUCCESS ] Generated IR version 10 model.
[ SUCCESS ] XML file: /./frozen_inference_graph.xml
[ SUCCESS ] BIN file: /./frozen_inference_graph.bin
[ SUCCESS ] Total execution time: 26.84 seconds. 
[ SUCCESS ] Memory consumed: 617 MB. 
  

4. Загрузите преобразованную модель с помощью opencv-python dnn
   , используя докер-образ openvino ubuntu_dev openvino / ubuntu18_dev: последняя версия
   Я запускаю скрипт на python, содержащий следующее.

 net = cv2.dnn.readNetFromModelOptimizer('frozen_inference_graph.xml',
        'frozen_inference_graph.bin') 
blob = cv2.dnn.blobFromImage(image_from_file)
net.setInput(blob)
  

Сообщается о следующей ошибке

 Traceback (most recent call last):
  File "xxxxxxxxxxxxxx-dnn.py", line 49, in <module>
  
net.setInput(blob)
cv2.error: OpenCV(4.4.0-openvino) ../opencv/modules/dnn/src/dnn.cpp:4017: error:
    (-2:Unspecified error) in function 'void   cv::dnn::dnn4_v20200609::Net::setInput(cv::InputArray, const Stringamp;, double, const Scalaramp;)'
    (expected: 'inputShapeLimitation.size() == blobShape.size()'), where 'inputShapeLimitation.size()' is 2 must be equal to 'blobShape.size()' is 4
  

Кто-нибудь может пролить свет на то, как устранить эту ошибку, пожалуйста?

Я предлагаю вам попытаться загрузить вашу модель в образец Openvino, как здесь: https://docs.openvinotoolkit.org/2018_R5/_samples_object_detection_demo_README.html

Похоже, что используются несовместимые размеры, которые связаны с размером большого двоичного объекта. Возможно, ваш скрипт на python не связан с динамическим формированием.

Это может быть полезно для вас: https://www.youtube.com/watch?v=Ga8j0lgi-OQ