#apache-spark #spark-dataframe
#apache-spark #apache-spark-sql
Вопрос:
Я пытаюсь отфильтровать фрейм данных, оставив непустыми только те строки, в которых есть определенный столбец string.
Операция заключается в следующем:
df.filter($"stringColumn" !== "")
Мой компилятор показывает, что !== устарел с тех пор, как я перешел на Spark 2.0.1
Как я могу проверить, является ли значение столбца string пустым в Spark> 2.0?
Ответ №1:
Используйте =!= в качестве замены:
df.filter($"stringColumn" =!= "")
Комментарии:
1. спасибо LostInOverflow, можете ли вы указать мне, где вы найдете информацию в документации Spark?
2. spark.apache.org/docs/latest/api/scala /… , проверьте комментарий об устаревании для
!==.3. @Rami Это полный ответ, в соответствии с правилами StackOverflow вы должны его принять
4. Это кажется устаревшим в Spark 2. Я получаю посторонний ввод ‘!=’
Ответ №2:
Используйте =!= в качестве оператора «не равно»
df.where(col("COLUMN_NAME") =!= "")