#apache-spark #pyspark #spark-streaming #hadoop-yarn
Вопрос:
Я пытаюсь найти способ создать пользовательский идентификатор приложения для приложения pyspark, отправленного через YARN в EMR. Обычно идентификаторы приложений YARN представлены в этом формате application_1632776696096_0006
Есть ли способ как-то изменить их, чтобы добавить префикс или сделать их полностью пользовательскими?
Ценю ваш ответ! Заранее спасибо
Ответ №1:
Идентификатор приложения-это уникальный идентификатор,сгенерированный внутри yarn, его невозможно настроить, кроме как изменить исходный код. Вы можете достичь цели различения приложений, указав имя приложения. Например:
spark-submit --name
Комментарии:
1. Спасибо за ваш ответ