Блог

Камера предоставляет данные в оттенках серого, в то время как модель глубокого обучения требует объемного изображения. Возможно ли создать искусственное изображение в формате bgr путем «укладки» изображения в оттенках серого с помощью opencv или numpy или чего-либо еще?

Я использую два пакета ROS, созданных другими людьми. Я попробовал следующее:

Предпринята попытка изменения модели для принятия оттенков серого, как описано в исходном репозитории.

Попытка преобразовать оттенки серого в формат bgr с помощью

 np_image = cv2.cvtColor(np_image, cv2.COLOR_GRAY2BGR)
  

Попытка создать массив, состоящий из изображения, умноженного на три

 np_image = np.array([np_image, np_image, np_image])
  

Следующий код извлекает изображение

     def run(self):
        self._result_pub = rospy.Publisher('~result', Result, queue_size=1)
        vis_pub = rospy.Publisher('~visualization', Image, queue_size=1)
        sub = rospy.Subscriber('~input', Image,
                               self._image_callback, queue_size=1) 

        rate = rospy.Rate(self._publish_rate)
        while not rospy.is_shutdown():
            if self._msg_lock.acquire(False):
                msg = self._last_msg
                self._last_msg = None
                self._msg_lock.release()
            else:
                rate.sleep()
                continue

            if msg is not None:
                np_image = self._cv_bridge.imgmsg_to_cv2(msg, 
                    desired_encoding='mono8')
                #np_image = cv2.cvtColor(np_image, cv2.COLOR_GRAY2BGR) #(fail)
                np_image = np.array([np_image, np_image, np_image])
                # Run detection
                results = self._model.detect([np_image], verbose=0)
                result = results[0]
                result_msg = self._build_result_msg(msg, result)
                self._result_pub.publish(result_msg)
  

 def _image_callback(self, msg):
        rospy.logdebug("Get an image")
        if self._msg_lock.acquire(False):
            self._last_msg = msg
            self._msg_lock.release()
  

Я ожидаю, что модель извлекет данные, оценит их и вернет идентификатор объекта и маску. Однако я получаю следующую ошибку:

 Traceback (most recent call last):
  File "/home/riwo-rack-pc/ROS_Mask_rcnn/src/mask_rcnn_ros/nodes/mask_rcnn_node", line 196, in <module>
    main()
  File "/home/riwo-rack-pc/ROS_Mask_rcnn/src/mask_rcnn_ros/nodes/mask_rcnn_node", line 192, in main
    node.run()
  File "/home/riwo-rack-pc/ROS_Mask_rcnn/src/mask_rcnn_ros/nodes/mask_rcnn_node", line 116, in run
    results = self._model.detect([np_image], verbose=0)
  File "/home/riwo-rack-pc/ROS_Mask_rcnn/src/mask_rcnn_ros/src/mask_rcnn_ros/model.py", line 2333, in detect
    molded_images, image_metas, windows = self.mold_inputs(images)
  File "/home/riwo-rack-pc/ROS_Mask_rcnn/src/mask_rcnn_ros/src/mask_rcnn_ros/model.py", line 2236, in mold_inputs
    padding=self.config.IMAGE_PADDING)
  File "/home/riwo-rack-pc/ROS_Mask_rcnn/src/mask_rcnn_ros/src/mask_rcnn_ros/utils.py", line 409, in resize_image
    image, (round(h * scale), round(w * scale)))
  File "/home/riwo-rack-pc/.local/lib/python2.7/site-packages/scipy/misc/pilutil.py", line 490, in imresize
    imnew = im.resize(size, resample=func[interp])
  File "/home/riwo-rack-pc/.local/lib/python2.7/site-packages/PIL/Image.py", line 1806, in resize
    return self._new(self.im.resize(size, resample, box))
TypeError: integer argument expected, got float
  

Я проследил за трассировкой, насколько мог, но не могу найти точку, где вводится значение float.

merged_image = cv2.merge((np_image, np_image, np_image))

должно дать вам то, что вы ищете.