Блог

Извините за основной вопрос, но я не мог понять это сам.

Я пытался выяснить в пользовательском интерфейсе Spark, сколько памяти доступно и используется для каждого работника и драйвера.

Есть ли какой-либо простой и понятный способ отслеживать эту информацию?

Моя цель — определить стратегию сохранения в соответствии с тем, сколько моих данных занимают рабочие и драйвер.

PS Я использую автономный режим в Spark 1.6.1

Я думаю, что на вкладке Исполнители у вас будет необходимая информация. Если у вас есть spark up, вы найдете его в http://localhost:4040/executors / Лучший!