#airflow #mwaa
Вопрос:
У нас есть автоматизированная система загрузки наших DAG в MWAA.
Есть ли способ получить requirements.txt в корзине S3 будет автоматически установлена ее последняя версия?
Я не могу найти вариант для этого в консоли AWS.
Ответ №1:
Это в настройке MWAA. Отредактируйте экземпляр MWAA, в requirements.txt в поле установите последнюю версию.
Также,
MWAA использует файл требований для создания образа контейнера. Поэтому, когда вы загружаете файл требований и указываете его в параметрах редактирования и сохранения, создаются изображения(для этого требуется несколько минут). В идеале изображение должно обновляться только тогда, когда у вас есть новые библиотеки python для добавления. если вы все еще хотите автоматизировать, попробуйте использовать триггер lambda S3 и использовать интерфейс командной строки mwaa для запуска команды update-environment.
Комментарии:
1. Это позволяет мне выбрать самую последнюю версию в корзине, но возникает вопрос, есть ли способ автоматически установить
requirements.txtпоследнюю версию2. Что вы имеете в виду автоматически, когда вы загружаете новый файл, он автоматически помечается как последняя версия.
3. Когда я загружаю новый
requirements.txt, я хочу, чтобы он был установлен какrequirements.txtиспользуемый MWAA без необходимости заходить в консоль AWS и устанавливать его самостоятельно вручную4. MWAA использует файл требований для создания образа контейнера. Поэтому, когда вы загружаете файл требований и указываете его в параметрах редактирования и сохранения, создаются изображения(для этого требуется несколько минут). В идеале изображение должно обновляться только тогда, когда у вас есть новые библиотеки python для добавления. если вы все еще хотите автоматизировать, попробуйте использовать триггер lambda S3 и использовать интерфейс командной строки mwaa для запуска команды update-environment.
5. Спасибо! Если вы обновите свой ответ, включив в него свой предыдущий комментарий, я отмечу, что он принят 🙂