#scala
#scala
Вопрос:
В Spark (SCALA) есть функции для удаления столбцов и строк, но не удалось найти ни одной функции для удаления всего фрейма данных.Есть ли способ удалить фрейм данных в Spark (SCALA)?
Ответ №1:
Я не уверен, какие функции вы имеете в виду для удаления столбцов из DFs. Фреймы данных Spark неизменяемы по своей природе, как и RDD. Насколько я понимаю, это невозможно. Единственный способ удалить DF — это сборка мусора.
Комментарии:
1. def drop(col: Column): DataFrame возвращает новый фрейм данных с удаленным столбцом. Эта версия drop принимает столбец, а не имя. Это не-операция, если в фрейме данных нет столбца с эквивалентным выражением.
2. Да, я согласен, мы не можем удалить или удалить столбец, но мы могли бы создать другой фрейм данных без столбца, который мы хотим удалить. Ниже приведена функция, на которую я ссылаюсь: def drop(col: Column): DataFrame Возвращает новый фрейм данных с удаленным столбцом. Эта версия drop принимает столбец, а не имя. Это не-операция, если в фрейме данных нет столбца с эквивалентным выражением.
3. если вы видите, DF не позволяет удалять столбцы из исходного DF, но возвращает новый DF. Даже после операции удаления вы все равно можете получить доступ к этим столбцам вашего исходного DF. boz DF неизменяемы по своей природе.
4. @Akshay да, ты там. но ваш вопрос звучит не так, как вы на самом деле ищете. пожалуйста, обновите свой вопрос