Как узнать, есть ли объект на картинке с небольшим количеством снимков?

#deep-learning #classification #object-detection

Вопрос:

У меня есть набор данных с большим количеством классов (~10000 ), но несколькими примерами по классам (~15-). Я хочу классифицировать эти классы, но есть некоторые особенности. Мои примеры приведены из видеопотока. В настоящее время я использую детектор (например, YOLO) для обнаружения объектов, а затем применяю сиамскую/тройную сеть для получения вложений. Наконец, я классифицирую с помощью классификатора Kneighbor с одним соседом.

Реальная специфика заключается в том, что я хочу определить, когда изображение, предоставленное моим детектором, находится в подсписке моих классов. Например, в 1-й день у меня есть список из 100 классов, и моя цель-узнать, входит ли объект (предоставленный детектором) в мои 100 классов и в какой из них. Я не знаю, как наилучшим образом использовать эту информацию. У тебя есть какие — нибудь идеи по этому поводу?

На данный момент я предварительно рассчитываю все свои вложения, затем для каждого объекта мне нужно выполнить только прямой проход и вычислить расстояние. Возможно, я смогу перегруппировать все мои другие вложения в «другой класс» и сохранить 101 класс (мои 100 классов моего подсписка и «другой класс»), но я не знаю, действительно ли это эффективно.

В заключение, есть ли у вас какие-нибудь хитрости, чтобы получить более высокий балл с сиамскими/тройными сетями? Я использую ResNet с предварительно подготовленными весами в imagenet, но могут существовать некоторые методы, позволяющие улучшить результат.