Развертывание модели обнаружения объектов для вывода в реальном времени

#api #object-detection #aws-marketplace

#API #обнаружение объектов #aws-торговая площадка

Вопрос:

У меня есть модель OD, обученная на пользовательском наборе данных. Я хотел бы развернуть модель в качестве API. Модель будет использоваться для вывода в режиме реального времени, и я планирую монетизировать этот API на одном из рынков API, таких как AWS, быстрый API Rakuten и т. Д.

Меня беспокоит, что если модель OD предоставляется в качестве API, выполнение прогнозов в режиме реального времени в видеопотоке (канал камеры наблюдения) приведет к задержке в сети, что замедлит работу приложения. Существуют ли какие-либо другие альтернативы для решения проблем задержки?

Например, если я упакую код и артефакты, которые будут выполняться в системе клиента, задержка в сети может быть устранена, но с риском раскрытия модели, кода и т.д. Так что API кажется идеальным решением для моего варианта использования.

Каков был бы наилучший подход для реализации такого сценария?

Более того, если для изображений требуется предварительная и постобработка. Существуют ли какие-либо платформы, которые помогают упаковать наше приложение и преобразовать его в черный ящик, который принимает входные и выходные изображения?