Блог

Я работаю над обнаружением объектов в видео, и я хочу обучить две быстрые модели R-CNN двум разным типам данных (например, RGB и optical flow), а затем объединить эти модели в одной сети.

Я обучил модель одному типу данных, но я понятия не имею, как я могу объединить оба типа данных.

Любая помощь была бы отличной!

То, что вы ищете, — это двухпоточные архитектуры CNN. Как, например, описано Пенгом и Шмидом в многорегиональном двухпоточном R-CNN для обнаружения действий. Существует большое разнообразие реализаций, но вам нужно будет переобучить вашу двухпоточную модель с оптическим потоком и данными изображения.