Я создал cloudbuild.json для развертывания конвейера kubeflow. но он выдает ошибку, в которой говорится, что файл отсутствует

#python #docker #google-cloud-platform #kubeflow #kubeflow-pipelines

#python #docker #google-cloud-platform #kubeflow #kubeflow-pipelines

Вопрос:

Это мой cloudbuild.json

 {
    "steps": [
        {
            "name": "gcr.io/cloud-builders/docker",
            "args": [
                "build",
                "-t",
                "trainer_image",
                "."
            ],
            "dir": "./trainer_image/"
        },
        {
            "name": "gcr.io/cloud-builders/docker",
            "args": [
                "build",
                "-t",
                "base_image",
                "."
            ],
            "dir": "./base_image/"
        },
        {
            "name": "gcr.io/dmgcp-pkg-internal-poc-oct-04/kfp-cli",
            "args": [
                "dsl-compile --py covertype_training_pipeline.py --output covertype_training_pipeline.yaml"
            ],
            "env": [
                "BASE_IMAGE=gcr.io/dmgcp-pkg-internal-poc-oct-04/base_image:test",
                "TRAINER_IMAGE=gcr.io/dmgcp-pkg-internal-poc-oct-04/trainer_image:test",
                "RUNTIME_VERSION=1.15",
                "PYTHON_VERSION=3.7",
                "COMPONENT_URL_SEARCH_PREFIX=https://raw.githubusercontent.com/kubeflow/pipelines/0.2.5/components/gcp/",
                "USE_KFP_SA=False"
            ],
            "dir": "./pipeline/"
        },
        {
            "name": "gcr.io/dmgcp-pkg-internal-poc-oct-04/kfp-cli",
            "args": [
                "-c",
                "kfp --endpoint 66df1d31e46e6510-dot-us-central2.pipelines.googleusercontent.com/ pipeline upload -p credit_fraud_training_test covertype_training_pipeline.yaml"
            ],
            "dir": "./pipeline/"
        }
    ],
    "images": [
        "gcr.io/dmgcp-pkg-internal-poc-oct-04/trainer_image:test",
        "gcr.io/dmgcp-pkg-internal-poc-oct-04/base_image:test"
    ]
}

  

Проблема в шаге 2:
вот ошибка, которую я получил
«Шаг №2: gcr.io/dmgcp-pkg-internal-poc-oct-04/kfp-cli:latest Шаг № 2: /bin/bash: dsl-compile —py covertype_training_pipeline.py —вывод covertype_training_pipeline.yaml: такой файл или каталог не завершен, шаг # 2 «
я запускаю эту команду для запуска конвейера
«!сборки gcloud отправляются. —config cloudbuild.json»

это моя структура папок введите описание изображения здесьвведите описание изображения здесь

Комментарии:

1. Эй, вы можете попробовать запустить локально, чтобы отладить проблему: cloud.google.com/cloud-build/docs/build-debug-locally

Ответ №1:

Что в вашем Dockerfile?

«dsl-compile —py covertype_training_pipeline.py —вывод covertype_training_pipeline.yaml»

Вы уверены, что это работает как одна строка?

«dir»: «./pipeline/»

Вы уверены, что этот относительный путь правильный?

PS Вы можете создавать самокомпилирующиеся конвейеры, которые извлекают dsl-компиляцию из изображения.