Блог

Я установил две камеры на разных полках холодильника (внизу и вверху), лицом друг к другу. Детектор объектов получает два изображения из этих двух потоков и независимо возвращает из них ограничивающие прямоугольники.

Задача: учитывая ограничивающие рамки с разных углов обзора, определите их соответствие.

Я знаю, что, поскольку глубина неизвестна, x, y координаты в одной камере могут соответствовать нескольким позициям в другой. Вот почему наши решения до сих пор были приближениями, которые работают с переменным успехом. Наивным решением было игнорировать любую разницу между координатами камеры и использовать евклидово расстояние для получения соответствия.

Другим решением является использование Fundamental Matrix , которое дает способ вычисления соответствия на основе эпиполярной геометрии. Это решение может быть довольно утомительным, поскольку оно требует определенной калибровки, а результаты не были отличными. Возможно, это связано с тем, что моя калибровка была неаккуратной.

Последнее решение, которое работает плохо, — использовать обнаружение ключевых точек по краям и сопоставлять их. Поскольку края, форма и т.д. отличаются довольно радикально, мы понимаем, почему это так.

В конечном счете, мне было интересно, как бы вы справились с этой проблемой или есть ли что-нибудь, на что вы могли бы указать мне, чтобы получить более надежные решения.

На левом изображении у нас вид снизу. Это изображение было зеркально отображено вокруг оси y. Правое изображение взято с верхней полки. Детектор объектов обнаружил две ограничивающие рамки для каждого угла обзора, в общей сложности четыре ограничивающие рамки. Они отображаются на обеих камерах. Например, ограничивающая рамка с идентификатором 16 обнаруживается на камере, расположенной сверху, и также отображается на нижней камере, чтобы указать ее смещение. Как бы вы справились с сопоставлением ограничивающих рамок, которые принадлежат одному и тому же объекту, рассматриваемому под другим углом обзора?