#amazon-web-services #amazon-emr #amazon-data-pipeline
#amazon-веб-сервисы #amazon-emr #amazon-конвейер данных
Вопрос:
При первоначальной настройке нового кластера EMR и добавлении шагов в свой кластер порядок их добавления на страницу является нисходящим, то есть верхняя запись выполняется первой, нижняя запись выполняется последней.
Когда вы наблюдаете за ходом выполнения этих шагов в работающем кластере EMR, они выполняются снизу вверх, то есть сначала выполняется нижний, последним — верхний.
Когда я экспортирую команду CLI для настройки кластера и запускаю ее через DataPipeline, она содержит флаг —steps, который содержит массив шагов, первый шаг — это последний элемент в массиве.
Излишне говорить, что меня очень смущает, как я на самом деле буду определять порядок выполнения конкретных шагов для выполняемой мной работы ETL.
Есть ли способ явно указать порядок этих шагов?
Комментарии:
1. Похоже, это ошибка, я вручную записал шаги [1,2,3], они выполнялись в ожидаемом порядке, т.е. 1, за которым следуют 2, за которыми следуют 3. Но когда я экспортировал CLI для запуска emr. В экспортированной команде создания emr они присутствовали в обратном порядке, и ее выполнение привело к выполнению шагов в обратном порядке. Изначально я думал, что порядок в пользовательском интерфейсе вызывает это, поскольку в пользовательском интерфейсе вы можете сортировать шаги, но это не так, сортировка в пользовательском интерфейсе не влияет на порядок. CLI export всегда экспортирует шаги в порядке, обратном тому, в котором они были выполнены
Ответ №1:
Они выполняются в том порядке, в котором вы их указываете через API, но по какой-то причине веб-консоль имеет странную сортировку при их отображении.