#apache-spark-sql
Вопрос:
Когда я использую spark left join для двух фреймов данных, левое соединение не будет работать, если функция persist не будет добавлена в оба фрейма данных. Если не добавлено, вторая таблица даже не вошла в план SQL, и значения столбцов из второй таблицы являются просто копиями из первой таблицы.
Комментарии:
1. преобразования не оцениваются без действий из-за ленивой оценки Spark. не могли бы вы поделиться кодом?
2. Пожалуйста, предоставьте достаточно кода, чтобы другие могли лучше понять или воспроизвести проблему.