Блог

Главная - Вопросы по программированию - Как мы улучшаем производительность моделей API Tensorflow в Docker

Как мы улучшаем производительность моделей API Tensorflow в Docker

#docker #tensorflow #image-processing #tensorflow-serving #yolo

#docker #tensorflow #обработка изображений #обслуживание tensorflow #yolo

Вопрос:

Я пытаюсь запустить в производство свои модели tensorflow для обработки изображений (например, Yolo для примера), поэтому с этой целью мы преобразовали наши модели в API, затем мы создали окно настройки изображений, в котором будут работать модели API.

Проблема в том, что производительность наших моделей API, работающих в Docker image, очень низкая, около 1 секунды на кадр / изображение, а производительность наших моделей без Docker намного быстрее — около 0,01 секунды на кадр / изображение.

Есть ли способ повысить производительность наших моделей API во время работы в Docker.

Наш docker работает на графической карте TITAN RTX с поддержкой 24G

Комментарии:

1. Вы запустили свой контейнер с помощью nvidia-docker?

2. Пожалуйста, обратитесь к этой ссылке на Github, github.com/tensorflow/serving/blob/master/tensorflow_serving /… , который показывает, как выполнить inference использование Tensorflow Serving и a GPU . Это должно ускорить ваш inference .