#scala #apache-spark #delta-lake
#scala #apache-искра #дельта-озеро
Вопрос:
Мы запускаем программу spark, которая выполняет множество SQL-операторов, в основном join. Объем данных в МБ и с парой тысяч строк. Когда программа достигает последнего оператора, который является слиянием в дельта-таблице. Исполнитель и драйвер Spark показывают 0 задач, которые необходимо выполнить. Журнал перестает отображаться. Через некоторое время мы получаем GC над проблемой головы. Кто-нибудь видел подобный сценарий с дельта-слиянием