#apache-spark #hadoop #hadoop-yarn
#apache-spark #hadoop #hadoop-yarn
Вопрос:
Я регулярно планирую приложения spark через yarn и использую веб-интерфейс yarn для отслеживания приложений. Однако я не смог выяснить, к чему относится этот столбец в таблице приложений:
Я не могу найти никакой информации об этом в Интернете. Кто-нибудь знает, что означает «% очереди» в этом контексте?
Комментарии:
1. Я считаю, что в этом столбце указана сумма мощностей для всех запланированных вами очередей, выраженная в процентах от 100. Вы можете быть сбиты с толку значениями> 100% в двух верхних запланированных приложениях spark на скриншоте, но я думаю, что это может быть так, потому что ваша инфраструктура поддерживает эластичность, поэтому приложения используют больше ресурсов, когда это необходимо, из пула свободных ресурсов, которые используются, когда это необходимо.
Ответ №1:
Это «процент ресурсов очереди, которые использует приложение» [источник].
%-возраст может превышать сотню, например, если вы используете FairScheduler, из-за разницы в мгновенной и постоянной справедливой доле очереди.