Блог

Главная - Вопросы по программированию - Нет модуля с именем _ _ _ _ ошибка в AWS MWAA даже с requirements.txt

Нет модуля с именем _ _ _ _ ошибка в AWS MWAA даже с requirements.txt

#amazon-web-services #airflow #mwaa

Вопрос:

Я загрузил свой requirementst.txt к dag и ссылался на него при создании моей среды воздушного потока. Вот что мое requirements.txt похоже на:

 apache-airflow==1.10.12
oauth2client==4.1.3
google-api-python-client==2.2.0
Flask-AppBuilder==2.3.3
boto3==1.17.59

Тем не менее, я продолжаю получать ошибку «Нет модуля с именем oauthclient» в моей среде воздушного потока. Как мне проверить, действительно ли установлен oauthclient или воздушный поток не читает мой requirements.txt правильно подать файл?

Заранее спасибо.

Ответ №1:

Вам не нужно воссоздавать MWAA. MWAA использует версионное ведро S3. У вас requirements.txt также есть версия, и придерживайтесь старой версии, если вы не сделаете это вручную, укажите на последнюю версию.

Просто зайдите на страницу MWAA, нажмите «Изменить» и выберите последнюю версию вашего requirements.txt . Затем он обновится.

Ответ №2:

Я решил эту проблему, воссоздав ее по среде. Похоже, что AWS MWAA запускает только ваш requirements.txt один раз и поэтому любые обновления, которые вы сделаете после создания своей среды, не будут применены.

Комментарии:

1. кажется, что это правда, но этого не может быть

2. Я только что говорил с AWS по этому вопросу, похоже, потребуется некоторое время, чтобы увидеть изменения. Вы должны иметь возможность видеть файл требований, запущенный в журналах планировщика.

Ответ №3:

mwaa следует прочитать requirement.txt опять же, если вы отредактируете конфигурацию mwaa через консоль и нажмете сохранить или из командной строки, выполните команду: aws mwaa update-environment —name <имя среды>

Ответ №4:

Обновление требований в MWAA не является простым:

  • Как только текст требований будет изменен , вам придется заново перестроить env
  • Прежде чем сделать это , пожалуйста, дважды проверьте, чтобы убедиться, что вы выбрали правильную версию файла requirements .txt на странице создания среды
  • В большинстве случаев версия файла .txt является более старой, вам придется вручную выбрать самую новую!
  • Простое редактирование и обновление существующей среды приведет к установке более старой версии requirements.txt файл!
Метки: