#apache-spark #mesos
#apache-spark #mesos
Вопрос:
Я хотел бы запустить несколько заданий spark в своем кластере Mesos, и чтобы все задания spark использовали один и тот же фреймворк spark. Возможно ли это? Я попытался запустить MesosClusterDispatcher и подключить задания spark к диспетчеру, но каждое задание spark запускает свою собственную «Spark Framework» (я пробовал запускать как режим клиента, так и режим кластера). Это ожидаемое поведение? Возможно ли использовать один и тот же spark-фреймворк для нескольких заданий spark?
Ответ №1:
Это нормально, и это ожидаемое поведение.
Насколько я знаю, в Mesos SparkDispatcher отвечает за выделение ресурсов для вашего драйвера Spark, который будет выступать в качестве основы. После выделения драйвера Spark он отвечает за общение с Mesos и принимает предложения о распределении исполнителей, на которых будут выполняться задачи.
Комментарии:
1. При запуске в «клиентском режиме» SparkDispatcher отсутствует, и драйвер напрямую взаимодействует с Mesos. Итак, зачем нужен диспетчер в режиме кластера?
2. Предлагаю вам взглянуть на spark.apache.org/docs/latest/running-on-mesos.html
3. @MichaelHausenblas Я знаком с документацией, но как это отвечает на мой вопрос> Вы имеете в виду «состояние восстановления», которое записывается диспетчером в Zookeeper?
4. Вы спросили: зачем нужен диспетчер в режиме кластера? и документы (с которыми, по вашим словам, вы знакомы) объясняют это в разделе «Режим кластера», нет?