Блог

Главная - Вопросы по программированию - Имя искровой очереди в улье

Имя искровой очереди в улье

#apache-spark #hive #hadoop-yarn

#apache-spark #улей #hadoop-yarn

Вопрос:

Я пытаюсь выполнить свои запросы в улье, используя механизм spark, но мне нужно запускать их в определенной очереди. Я не смог найти никаких свойств имени очереди, кроме in spark-submit --queue . До сих пор я использовал эти настройки: 

 set hive.execution.engine=spark;
set spark.job.queue.name=MyQueue;
set spark.executor.instances=50;

или 

 set spark.queue.name=MyQueue;

но они не будут запускать задания.

найден другой вариант:

 set spark.yarn.queue=MyQueue

тоже не работает

Комментарии:

1. Какая версия Hive? Какая версия Spark? Включен ли у вас Sentry или Ranger? Действительно ли у вашего пользователя (или hive системного пользователя, если Sentry / Ranger используются для манипулирования правами доступа) есть доступ к этой очереди с именем MyQueue ? Вы проверили в YARN, что задания не ожидали рассмотрения, потому что очередь была неправильно настроена?

2. Проверяли ли вы известные проблемы HIVE-12538 и HIVE-12611 ? issues.apache.org/jira/browse/HIVE-12538 issues.apache.org/jira/browse/HIVE-12611

3. Спасибо за помощь, ребята, попытался использовать консоль, получил эту ошибку: Failed to execute spark task, with exception 'org.apache.hadoop.hive.ql.metadata.HiveException(Failed to create spark client.)' похоже, наши администраторы наши администраторы не настроили Hive на Spark.