Блог

В настоящее время я пытаюсь запустить ноутбуки jupyter с apache airflow и papermill.

Чтобы использовать мои пользовательские среды и пользовательские пользовательские ядра, я использую BashOperator и запускаю команду в этом формате

 runuser {user} -c 'papermill {input_notebook_path} {output_notebook_path} -k {kernel_name}'
  

Вот как выглядит журнал базы данных после попытки выполнения:
Журналы базы данных

Я не смог использовать python или papermill operator, потому что ядра / среды, используемые ноутбуками, не установлены глобально.

Есть идеи?

Обходной путь для этого заключается в том, чтобы отредактировать поток «Bash Operator», чтобы создать каталог, который вы создаете, вместо того, чтобы создавать свой собственный для каждого dag.

Также папка, в которую будет помещен выходной блокнот, должна быть 777