Блог

Очень просто я использую spark 2.4.3 в кластере из 17 узлов, и у меня есть набор данных, который я сохраняю. В конце, после некоторых вычислений / действий, я использую unpersist(), но набор данных остается в памяти в конце в соответствии с вкладкой хранения в пользовательском интерфейсе Spark. Даже если я использую unpersist(true), набор данных все еще существует в конце. Почему это происходит?

Исправлено! В конечном итоге проблема была в коде. Я сохранял набор данных, имя которого было df, а затем удалял столбцы или менял имена столбцов и переназначал его с тем же именем (df). Я предполагаю, что это означает, что в конце, когда я не существовал, только новый набор данных не сохранялся (хотя он никогда не сохранялся на первом месте). Я просто сохранил набор данных после «удаления столбцов и т. Д.», И проблема решена.