#scala
#scala
Вопрос:
Постановка проблемы У меня есть таблица с именем employee, из которой я создаю фрейм данных.Есть несколько столбцов, в которых нет никакой записи.Я хочу удалить эти столбцы из фрейма данных. я также не знаю, сколько столбцов фрейма данных не имеет в нем записи.
Ответ №1:
Вы не можете удалить столбец из фрейма данных AFAIK!
Что вы можете сделать, это создать другой фрейм данных из старого фрейма данных и извлечь имена столбцов, которые вы действительно хотите!
Пример: OLDFSCHEMA, подобный этому (id, name, badColumn, email), затем
val newDf=oldDF.select("id","name","email")
Или есть еще одна вещь, которую вы можете использовать, это :
функция .drop() в фрейме данных, которая принимает имена столбцов, удаляет их и возвращает вам новый фрейм данных!
Вы можете найти об этом здесь: https://spark.apache.org/docs/2.0.0/api/scala/index.html#org.apache.spark.sql.Dataset@drop(col:org.apache.spark.sql.Column):org.apache.spark.sql.DataFrame
Я надеюсь, что это может решить ваш вариант использования!
Комментарии:
1. Я хочу, чтобы были удалены только те столбцы, в которых нет никакого значения. и я не знаю, сколько там столбцов и из них, сколько столбцов содержит только нулевые значения.