Блог

Главная - Вопросы по программированию - Сервер вывода Triton, обслуживающий модель TorchScript

Сервер вывода Triton, обслуживающий модель TorchScript

#deep-learning #pytorch #tensorflow-serving #tensorrt

#глубокое обучение #pytorch #обслуживание тензорного потока #tensorrt

Вопрос:

Я пытаюсь обслуживать модель TorchScript с помощью сервера вывода triton (TensorRT). Но каждый раз, когда я запускаю сервер, он выдает следующую ошибку:

 PytorchStreamReader failed reading zip archive: failed finding central directory

Моя структура папок :

 <model_repository> 
  <model_name>
   config.pbtxt
   <1>
    <model.pt>

Мой файл config.pbtxt :

 name: "model"
platform: "pytorch_libtorch"
max_batch_size: 1

input[
{
name: "INPUT__0"
data_type:  TYPE_FP32
dims: [-1,3,-1,-1]
}
]

output:[
{
name: "OUTPUT__0"
data_type:  TYPE_FP32
dims: [-1,1,-1,-1]
}
]

Ответ №1:

Я нашел решение. Это была глупая ошибка с моей стороны. Файл .pt torchscript не был загружен должным образом.

Метки: ,