Блог

Главная - Вопросы по программированию - Сохранение журналов в Amazon S3 из кластера EMR приводит к ошибке «Версия Ami не поддерживает последние обороты в минуту».

Сохранение журналов в Amazon S3 из кластера EMR приводит к ошибке «Версия Ami не поддерживает последние обороты в минуту».

#python-3.x #amazon-web-services #airflow #boto3

Вопрос:

Я создаю кластер ЭМР бросить воздушного потока, чтобы запустить работу Spark и я желаю, чтобы спасти не только журналы ошибок, но и другие исполнения журналы, связанные с ним в Амазон С3. Когда я добавляю шаг отладки я могу сохранить контроллер, системный журнал, поток stderr и stdout в журналах, что мне надо, но в стандартный вывод у меня лесозаготовки детали, вместо этого я получаю следующее сообщение об ошибке:

 Downloading 's3://us-west-2.elasticmapreduce/libs/state-pusher/0.1/fetch' to '/mnt/var/lib/hadoop/steps/s-26476WRGTU1M0/.'
Debugging is enabled via SQS
AMI Version=, region=us-west-2
Ami Version does not support latest RPM, falling back to existing state-pusher(which uses simpledb)
Found script on AMI itself, going to run: /usr/share/aws/emr/scripts/state-pusher-script
There is no action to take.

Я настроил шаг отладки следующим образом:

 {
    "Name": "setup_hadoop_debugging",
    "ActionOnFailure": "TERMINATE_CLUSTER",
    "HadoopJarStep": {
        "Jar": "s3://us-west-2.elasticmapreduce/libs/script-runner/script-runner.jar",
        "Args": ["s3://us-west-2.elasticmapreduce/libs/state-pusher/0.1/fetch"]
}

Для создания кластера EMR я использую Boto3 с оператором EmrCreateJobFlowOperator и добавляю шаги с помощью EmrAddStepsOperator. Как я могу избежать этой ошибки и сохранить данные для ведения журнала в S3?

Метки: