Блог

Я новичок в GCP. просматриваю различные документы по gcp composer и облачной оболочке, но не могу найти место, где я могу подключить среду облачной оболочки к папке DAG composer.

Прямо сейчас я создаю скрипт python вне облачной оболочки (локальной системы), загружая его вручную в папку DAG, но я хочу сделать это только в облачной оболочке. может ли кто-нибудь дать мне указания по этому поводу?

Кроме того, когда я попытался использовать импорт воздушного потока в своем файле python в облачной оболочке, он выдает ошибку, что модуль не найден. как мне это тоже установить?

Ознакомьтесь с этой документацией GCP:

Добавление и обновление DAG (рабочих процессов)

среди многих других записей вы найдете информацию, подобную этой:

Определение имени хранилища
Чтобы определить имя хранилища, связанного с вашей средой:

 gcloud composer environments describe ENVIRONMENT_NAME 
  --location LOCATION 
  --format="get(config.dagGcsPrefix)"
 

где:

ENVIRONMENT_NAME это название окружающей среды.
LOCATION это область вычислительного ядра, в которой находится среда.
--format есть возможность указать только свойство dagGcsPrefix вместо всех сведений о среде.
Свойство dagGcsPrefix показывает имя корзины:

gs://регион-имя среды-случайный идентификатор-ведро/

Добавление или обновление DAG
Чтобы добавить или обновить DAG, переместите файл Python .py для DAG в папку dag среды в облачном хранилище.

 gcloud composer environments storage dags import 
    --environment ENVIRONMENT_NAME 
    --location LOCATION 
    --source LOCAL_FILE_TO_UPLOAD
 

где:

ENVIRONMENT_NAME это название окружающей среды.
LOCATION это область вычислительного ядра, в которой находится среда.
LOCAL_FILE_TO_UPLOAD является ли DAG для загрузки.