Блог

Как выбрать различные и ненулевые значения из столбца фрейма данных в py-spark.

Хорошо, я понял это…ниже приведена команда, в которой я выбираю все уникальные идентификаторы пользователей из столбца и исключаю пустые строки:

 df.select('UserID').distinct().where(col("userid").isNotNull())
 

И все же я верю, что может быть лучшая альтернатива.