Блог

Когда вы совершаете ошибку, например, выбираете несуществующий столбец, в сообщении об исключении PySpark вы можете увидеть что-то вроде этого внизу:

Можно ли нормально показать это дерево в PySpark? (без необходимости вызывать исключение)

то, что вы смотрите на физическом плане. используйте explain в своем sql или фрейме данных, чтобы увидеть этот вывод. более подробную информацию можно найти по следующей ссылке

https://spark.apache.org/docs/latest/sql-ref-syntax-qry-explain.html