#apache-spark #apache-spark-sql
#apache-spark #apache-spark-sql
Вопрос:
Когда мы создаем временное представление из dataframe,
df.createOrReplaceTempView("table")
Использует ли представление те же данные фрейма данных или оно копирует все данные фрейма данных?
Я не смог найти ответ на этот вопрос в документации spark sql или вопросах stackoverflow, обсуждается только использование и область просмотра.
Комментарии:
1. Нет причин копировать все, это одно и то же.
2. @Lamanus да, я согласен, но так ли это делается на самом деле?
3. На данный момент я обнаружил, что при создании временного представления используется тот же логический план, что и при создании dataframe. Таким образом, если выполнение logical plan игнорирует его предыдущие выполнения (подлежащие проверке) в это время, представление сгенерирует новые данные.