#python #kubernetes #google-cloud-platform #kubeflow
#python #kubernetes #google-облачная платформа #kubeflow
Вопрос:
В этом примере KF https://github.com/kubeflow/examples/blob/master/financial_time_series/tensorflow_model/ml_pipeline .py создается конвейер ML, который запускает функции Python через командную строку.
Это означает, что все вызываемые файлы .py (например, «python3 train.py —param value») должен находиться в каталоге, в котором выполняется процесс. Чего я не понимаю, так это того, куда именно я должен поместить файлы .py в контексте GCP.
Должен ли я просто скопировать их с помощью облачной оболочки? Или я должен добавить git clone <репозиторий с файлами .py> в мой Dockerfile?
Ответ №1:
Чтобы начать разработку KFP с использованием python, попробуйте следующее руководство: передача данных в компонентах python
Должен ли я просто скопировать их с помощью облачной оболочки? Или я должен добавить git clone <репозиторий с файлами .py> в мой Dockerfile?
В идеале файлы должны находиться внутри изображения контейнера (метод Dockerfile). Это обеспечивает максимальную воспроизводимость.
Для не очень сложных скриптов на Python функция облегченного компонента python позволяет создавать компонент из функции python. В этом случае код скрипта сохраняется в командной строке компонента, поэтому вам не нужно никуда загружать код.
Размещение скриптов где-нибудь удаленно (например, в облачном хранилище или на веб-сайте) возможно, но может снизить надежность и воспроизводимость.