Как отправить задание потока данных из облачной функции при использовании setup.py файл

# #google-cloud-functions #google-cloud-dataflow #apache-beam #setuptools

Вопрос:

Я создал одну облачную функцию в python, которая запускает конвейер передачи данных. Я предоставляю setup.py файл в конвейер apache beam.

Когда запускается облачная функция, apache beam запускает setup.py файл с командой:

python3 setup.py sdist --dist-dir /tmp/tmp8uc0b7af

В то время как вышеуказанная команда выполняется beam, она пытается создать каталог на корневом уровне с именем «egg.info». Но каталог облачных функций доступен только для чтения, поэтому задание не запускает конвейер в потоке данных.

Я использую SDK потока данных версии 2.30.0.

Можно ли разрешить запись в облачную функцию или изменить каталог на автоматически сгенерированный каталог в папку /tmp?

Я в основном использую setup.py для функции findpackages (), которая позволяет мне использовать локальные пакеты внутри потока данных. Есть ли какой-нибудь другой способ сделать это, чтобы мы могли избежать setup.py бежать?

Комментарии:

1. Я думаю, что в настоящее время Apache Beam, возможно, потребуется создать некоторые временные файлы во время отправки конвейера, следовательно, может потребоваться доступ на запись в то место, откуда отправляется конвейер.