#pyspark
Вопрос:
1.Нужно ли закрывать сеанс sparksession для стандартного использования? 2.Is это нормально, что sparksession каждый раз останавливается, и для повторного подключения требуется несколько секунд? 3.Если sparksession не остановлен, ресурс все время занят, произойдет утечка памяти Спасибо за вашу помощь
Ответ №1:
Приложение Spark может иметь только один SparkContext. Вам не нужно закрываться, если приложение не используется только вами. Менеджер кластера позаботится о ресурсах в зависимости от их использования. Если задание не выполняется, то рабочие ресурсы будут свободны. Однако будет использоваться небольшая часть ресурсов драйвера.
Комментарии:
1. Спасибо. При последующем использовании я обнаружил, что ресурсы будут высвобождаться без остановки