#apache-spark #databricks #azure-databricks
Вопрос:
Я использую автозагрузчик Databricks для постепенной передачи данных из таблицы Delta Lake в базу данных SQL. Если инструкция OPTIMIZE или VACUUM выполняется для дельта-таблицы, добавляются/вычитаются новые файлы.
Мой вопрос в том, будет ли контрольная точка автозапуска сбрасывать эти оптимизированные файлы в следующем потоке? Или вся моя дельта-таблица будет передана в SQL, потому что автозагрузчик не распознает, что данные уже обработаны?