Учитывая 2D-изображение и целевую точку, определите соответствующую точку в 3D-мире

#3d #2d #matching

Вопрос:

В нашем потенциальном приложении пользователь нажимает точку на 2D-изображении, полученном камерой, затем цель состоит в том, чтобы заставить робота перейти в соответствующую точку реального мира (расположенную на плоском конвейере).

3D-структурированный датчик освещенности может использоваться вместе с 2D-камерой, поэтому моя первоначальная идея состояла в том, чтобы найти точку, соответствующую выбранной на 2 стереоизображениях, чтобы в принципе с помощью триангуляции мы могли получить соответствующее 3D-местоположение в облаке точек.

Таким образом, входы моей системы будут:

  • Точка 2D — изображения в координатах пикселей
  • 3D облако точек сцены

И результаты:

  • 3D координаты точки, в которую должен отправиться робот

Есть ли у вас какие-либо предложения по этой проблеме и, в частности, по соответствующей литературе? Я думаю, что это связано с проблемой сопоставления 2D-3D, но в этом случае это больше связано с оценкой положения данной модели жесткого объекта, которая в нашем случае недоступна.

Я открыт для любых необходимых разъяснений.

Комментарии:

1. Чтобы добавить некоторую информацию, мне понадобится что — то еще, связанное со слиянием 2D-3D датчиков, см. ieeexplore.ieee.org/stamp/stamp.jsp?tp=amp;arnumber=6386413