Блог

Я пытаюсь настроить конечную точку с несколькими моделями (или, точнее, перенастроить ее, поскольку я уверен, что она работала некоторое время назад в более ранней версии sagemaker) для перевода на язык. Но я постоянно сталкиваюсь с одной и той же проблемой. Это то, что я пытаюсь запустить (из записной книжки на sagemaker):

 import sagemaker
from sagemaker.pytorch.model import PyTorchModel
from sagemaker.predictor import JSONSerializer, JSONDeserializer

role = 'role_name...'
pytorch_model = PyTorchModel(model_data='s3://foreign-language-models/opus-mt-ROMANCE-en.tar.gz',
                             role=role,
                             framework_version="1.3.1",
                             py_version="py3",
                             source_dir="code",
                             entry_point="deploy_multi_model.py")
x = pytorch_model.predictor_cls(endpoint_name='language-translation')
x.serializer = JSONSerializer()
x.deserializer = JSONDeserializer()

x.predict({'model_name': 'opus-mt-ROMANCE-en', 'text': ["Hola que tal?"]})
 

На что я столкнулся с ошибкой:

 ModelError: An error occurred (ModelError) when calling the InvokeEndpoint operation: Received server error (500) from model with message "{
  "code": 500,
  "type": "InternalServerException",
  "message": "Worker died."
}
 

И когда я исследую журналы, ошибка ссылается на единственную заметную::

 epollEventLoopGroup-4-1 com.amazonaws.ml.mms.wlm.WorkerThread - 9000 Worker disconnected. WORKER_MODEL_LOADED
 

Но я не могу понять, почему это происходит.
Буду признателен за любую помощь, поскольку в настоящее время это сводит меня с ума! И если вам нужна дополнительная информация от меня, чтобы помочь, не стесняйтесь спрашивать.