#python #shell #amazon-ec2 #airflow #aws-cli
Вопрос:
Я хочу запустить экземпляр spot fleet EC2 из airflow, внутри которого я хочу запустить некоторые сценарии python после установки зависимостей python.
Для этого я попробовал сценарий оболочки, который будет принимать файл config.json в качестве входных данных. Этот файл config.json также будет содержать файл метаданных пользователя, который, например, будет содержать код для выполнения после загрузки, то есть установки зависимостей, загрузки кода из bitbucket и запуска кода python.
aws ec2 request-spot-fleet --spot-fleet-request-config file://config.json
https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/spot-fleet-requests.html#create-spot-fleet
В файле метаданных пользователя у меня есть несколько параметров, которые я заменяю перед передачей в config.json на основе предыдущей задачи airflow, для которой я сначала создаю копию файла, заменяю параметры, а затем передаю его в config.json.
Теперь я использую воздушный поток, который находится в контейнере docker, поэтому у меня возникли проблемы с созданием временного файла, который во время выполнения будет использоваться для замены моих параметров. Теперь я не знаю, как этого добиться