Блог

У меня есть sagemaker.workflow.pipeline.Pipeline , который содержит несколько sagemaker.workflow.steps.ProcessingStep и каждый ProcessingStep содержит sagemaker.processing.ScriptProcessor .

Текущий график конвейера выглядит так, как показано на рисунке ниже. Он возьмет данные из нескольких источников из S3, обработает их и создаст окончательный набор данных, используя данные из предыдущих шагов.

Поскольку Pipeline объект не поддерживает .deploy метод, как развернуть этот конвейер?

При выводе / подсчете, когда мы получаем необработанные данные (по одной строке для каждого источника), как запустить конвейер?

или конвейер Sagemaker предназначен только для обработки данных и обучения модели на огромных / пакетных данных? Не для вывода с одной точкой данных?

Поскольку объект Pipeline не поддерживает метод .deploy, как развернуть этот конвейер?

У конвейера нет .deploy() метода, нет

Используйте pipeline.upsert(role_arn='...') для создания / обновления определения конвейера в SageMaker, затем вызовите pipeline.start() . Документы здесь

При выводе / подсчете, когда мы получаем необработанные данные (по одной строке для каждого источника), как запустить конвейер?

На самом деле в SageMaker есть два типа конвейеров. Конвейеры построения моделей (которые у вас есть в вашем вопросе) и конвейеры последовательного вывода, которые используются для вывода. AWS определенно должен был назвать прежние «рабочие процессы»

Вы можете использовать конвейер построения модели для настройки конвейера последовательного вывода

Чтобы выполнить предварительную обработку в конвейере последовательного вывода, вы хотите обучить кодировщик / оценщик (например, SKLearn) и сохранить его модель. Затем обучите алгоритм обучения и сохраните его модель, затем создайте конвейерную модель, используя обе модели