#python #amazon-web-services #amazon-emr #mrjob
#python #amazon-веб-сервисы #amazon-emr #mrjob
Вопрос:
Ошибка выглядит примерно так: — Завершающий кластер: j-SDOP2KOKWYZM
botocore.исключения.ClientError: произошла ошибка (исключение ValidationException) при вызове операции AddJobFlowSteps: поток заданий, который завершается, завершается или завершен, не может быть изменен.
Ответ №1:
После ошибки. Ясно, что кластер завершает работу после шага 1. Эта проблема связана с тем, что botocore пакет устарел.
Решением этой проблемы может быть:
- Запустите постоянный кластер
- Используйте этот идентификатор кластера для запуска задания mr в emr
Команды:
mrjob create-cluster
Убедитесь, что вы настроили информацию о кластере в mrjob.config файле. Приведенная выше команда позволяет создать постоянный кластер.
python3 MovieSimilarities.py -r emr --cluster-id "your-cluster-id"
--items=ml-100k/u.item ml-100k/u.data > sims2t.txt
Теперь укажите идентификатор кластера для запуска вашего кластера.