Блог

Я пытаюсь создать кластер EMR с помощью сценария оболочки, и я добавил несколько шагов (с помощью сценария оболочки), которые будут выполняться после создания кластера EMR…Некоторые из моих сценариев запускались и показывали статус «Завершено«, а некоторые показывали «Отменено«…Когда я просмотрел журналы «Отмененного«, он может печатать переменные, которые я хотел распечатать…но почему этот шаг показывает свой статус как «Отмененный«??

Я видел сценарии, в которых кластер завершал работу, а затем остальные шаги менялись на статус «отменено».

1. при создании кластера с типом узла, который не поддерживается в EMR: все шаги были изменены на отмененные еще до их начала.

2. Если вы используете спотовое ценообразование в своем кластере, если установленная вами цена предложения больше не превышает пороговое значение цены спотового предложения, и ваши узлы будут отключены, это также изменит статус ваших узлов на отменено.

3. если один из шагов позволил настройке завершить работу кластера при сбое шага. В этом случае один из шагов завершается неудачно, и весь кластер уничтожается, и ни одному из других шагов не разрешается запускаться.

Немного более простой способ диагностировать это — создать свой кластер с помощью скрипта, а затем перейти к этому кластеру в графическом интерфейсе EMR и посмотреть, как он работает. Обычно вверху отображается сообщение о статусе высокого уровня, и если сам кластер уничтожается, это было бы очень ясно в пользовательском интерфейсе.