Блог

Главная - Вопросы по программированию - Какие показатели лучше всего подходят для оценки многообъектного отслеживания (MOT) и почему?

Какие показатели лучше всего подходят для оценки многообъектного отслеживания (MOT) и почему?

#object #deep-learning #computer-vision #object-detection #tracking

#объект #глубокое обучение #компьютерное зрение #обнаружение объектов #отслеживание

Вопрос:

Я хочу сравнить несколько методов многообъектного отслеживания (MOT) в компьютерном зрении в моем собственном наборе данных, поэтому сначала я хочу выбрать наилучшие показатели для этой задачи. Я провел некоторые исследования в научной литературе и пришел к выводу, что существует три основных набора показателей:

  1. Показатели из «Отслеживание нескольких частично закрытых людей на основе статического обнаружения частей тела»
  2. ЧЕТКИЕ показатели MOT
  3. Оценки идентификаторов

Поэтому мне интересно, какой из вышеперечисленных метрик я должен придать наибольшее значение?

И я хотел бы спросить, сталкивался ли кто-нибудь с подобной проблемой и есть ли у него какие-либо мысли на эту тему, которые могли бы оправдать и помочь мне выбрать наилучшие показатели для вышеупомянутой задачи.

Ответ №1:

Вы можете обратиться к метрикам, используемым в задаче MOT.

Вот результаты для MOT 2020 Challenge, и они включают используемые здесь показатели: https://motchallenge.net/results/MOT20 /

Основываясь на документе MOT 20, они сказали в разделе 4.1.7 (стр. 7):

Как мы видели в этом разделе, существует ряд разумных показателей производительности для оценки качества системы отслеживания, что затрудняет сведение оценки к одному единственному числу. Тем не менее, чтобы дать представление о том, как работает каждый трекер по сравнению с конкурентами, мы вычисляем и показываем средний рейтинг для каждого из них, ранжируя все трекеры в соответствии с каждым показателем, а затем усредняя по всем показателям производительности.

Ответ №2:

выбранные вами показатели связаны с вашей целью после отслеживания нескольких объектов, например: если ваши цели интересуют отслеживание людей внутри scence, вы должны переключить идентификатор показателя очень низко и так далее…

вы должны найти показатели, связанные с вашими целями.

Комментарии:

1. Не могли бы вы уточнить, каковы жизнеспособные показатели в MOT в целом и какие использовать в каком сценарии?

2. мое мнение: MOTA, MOTP, переключение идентификаторов, время для каждого кадра

Ответ №3:

Я знаю, что это устарело, но я не вижу, чтобы кто-то упоминал ХОТА (https://arxiv.org/pdf/2009.07736.pdf ). Это стало новым стандартом для многообъектного отслеживания, как можно увидеть здесь: https://arxiv.org/abs/2202.13514 и https://arxiv.org/pdf/2110.06864.pdf

MOTA и IDF1 переоценивают обнаружение и ассоциацию соответственно. HOTA явно измеряет оба типа ошибок и сочетает их сбалансированным образом. HOTA также включает измерение точности локализации результатов отслеживания, чего нет ни в MOTA, ни в IDF1.