#apache-spark
#apache-spark
Вопрос:
«Если драйвер Spark выйдет из строя, он будет заменен рабочим узлом» Это правильное утверждение? Зависит ли это от менеджера кластера ?
Ответ №1:
Для непотоковой передачи, если приложение Spark (lication) выходит из строя, то это единственная точка отказа, узел, на котором запускается драйвер. Приложение Spark умирает.
Это неправильное утверждение.
Смотрите https://kb.databricks.com/jobs/driver-unavailable.html .
Обратите внимание на утверждение: независимо от того, насколько велик кластер, функциональные возможности драйвера Spark не могут быть распределены внутри кластера.